Система сквозного логирования с передачей единого идентификатора между независимыми задачами Airflow

1 012
42.2
Билайн536 тыс
Опубликовано 19 января 2023, 5:17
beeline meetup: data engineering tools

20 декабря в билайне прошел первый митап по инженерии данных.
В этом видео выступит Никита Хилов с темой «Система сквозного логирования с передачей единого идентификатора процесса между независимыми задачами Airflow».

Организовать систему пользовательских логов для периодических процессов несложно. Сложнее, когда ключ прекращает быть однозначным идентификатором процесса расчета. Никита расскажет, почему так бывает и как в команде создавали сквозные пользовательские логи в продукте.
жизньигрыфильмывесельеавтотехномузыкаспортедаденьгистройкаохотаогородзнанияздоровьекреативдетское