beeline meetup: data engineering tools. О митапе, команде инженеров и разработчиков и о чаптере

Опубликовано 19 января 2023, 5:11

20 декабря в билайне прошел первый митап по инженерии данных.
В этом видео Михаил Благов, лидер чаптера инженеров данных и разработчиков расскажет об устройстве команды и почему мы решили провести это мероприятие.

Не пропустите наши следующие ролики:

— Сергей Евсеев — «Как настроить ETL с JSON'ами в Apache NiFi». Сергей расскажет, как в Apache NiFi настроить пайплайн трансформации и сохранения JSON в хранилище данных и как с помощью Jolt и Avro уменьшить время и трудозатраты на его построение.

— Никита Хилов — «Система сквозного логирования с передачей единого идентификатора процесса между независимыми задачами Airflow». Организовать систему пользовательских логов для периодических процессов несложно. Сложнее, когда ключ прекращает быть однозначным идентификатором процесса расчета. Никита расскажет, почему так бывает и как в команде создавали сквозные пользовательские логи в продукте.

— Александр Булатов — «Apache Flink: Flink Table API & SQL». Александр расскажет, что такое Table API в Apache Flink, как выглядит создание Source и Sink для Table API & SQL и как Table API взаимодействует с DataStream API.