beeline meetup: data engineering tools. О митапе, команде инженеров и разработчиков и о чаптере
3 022
63
Билайн536 тыс
Следующее
19.01.23 – 1 17651:36Популярные
76 дней – 7961:00
224 дня – 19 9160:17Опубликовано 19 января 2023, 5:11
20 декабря в билайне прошел первый митап по инженерии данных.
В этом видео Михаил Благов, лидер чаптера инженеров данных и разработчиков расскажет об устройстве команды и почему мы решили провести это мероприятие.
Не пропустите наши следующие ролики:
— Сергей Евсеев — «Как настроить ETL с JSON'ами в Apache NiFi». Сергей расскажет, как в Apache NiFi настроить пайплайн трансформации и сохранения JSON в хранилище данных и как с помощью Jolt и Avro уменьшить время и трудозатраты на его построение.
— Никита Хилов — «Система сквозного логирования с передачей единого идентификатора процесса между независимыми задачами Airflow». Организовать систему пользовательских логов для периодических процессов несложно. Сложнее, когда ключ прекращает быть однозначным идентификатором процесса расчета. Никита расскажет, почему так бывает и как в команде создавали сквозные пользовательские логи в продукте.
— Александр Булатов — «Apache Flink: Flink Table API & SQL». Александр расскажет, что такое Table API в Apache Flink, как выглядит создание Source и Sink для Table API & SQL и как Table API взаимодействует с DataStream API.
В этом видео Михаил Благов, лидер чаптера инженеров данных и разработчиков расскажет об устройстве команды и почему мы решили провести это мероприятие.
Не пропустите наши следующие ролики:
— Сергей Евсеев — «Как настроить ETL с JSON'ами в Apache NiFi». Сергей расскажет, как в Apache NiFi настроить пайплайн трансформации и сохранения JSON в хранилище данных и как с помощью Jolt и Avro уменьшить время и трудозатраты на его построение.
— Никита Хилов — «Система сквозного логирования с передачей единого идентификатора процесса между независимыми задачами Airflow». Организовать систему пользовательских логов для периодических процессов несложно. Сложнее, когда ключ прекращает быть однозначным идентификатором процесса расчета. Никита расскажет, почему так бывает и как в команде создавали сквозные пользовательские логи в продукте.
— Александр Булатов — «Apache Flink: Flink Table API & SQL». Александр расскажет, что такое Table API в Apache Flink, как выглядит создание Source и Sink для Table API & SQL и как Table API взаимодействует с DataStream API.
Свежие видео
2 дня – 51:20
3 дня – 34 21710:09
4 дня – 25 8751:01
5 дней – 28 77514:45
192 дня – 12 1790:57Случайные видео
338 дней – 1 799 7740:46
22.03.23 – 75 64425:20
31.01.23 – 41 2129:02
26.12.21 – 7 02810:02
17.10.08 – 15 0384:32
2 часа – 4 29220:43
23 часа – 171:00
1 день – 1700:20
2 дня – 50:51
4 дня – 77 81316:43
4 дня – 2 2732:03
45 мин – 2480:59
2 дня – 61:07