Потоковая обработка BigData для МТС / Евгений Ненахов (МТС Digital)
1 008
21
Онтико85 тыс
Следующее
Популярные
Опубликовано 19 января 2023, 14:56
Приглашаем на конференцию HighLoad++ 2024, которая пройдет 2 и 3 декабря в Москве!
Программа, подробности и билеты по ссылке: clck.ru/3DD4yb
--------
HighLoad++ Foundation 2022
Презентация и тезисы: highload.ru/foundation/2022/ab...
В докладе я расскажу, как мы в МТС собрали инструмент для потоковой обработки 10 миллионов событий в секунду, используя Scala(Java), Apache Spark Streaming и PostgreSQL. Почему выбрали Apache Spark Streaming, какие были проблемы на разных этапах разработки. Дам проверенные в бою рекомендации в части тюнинга Spark (concurrentJobs, speculation, memoryOverhead, memory, executors, cores и т.п.). Покажу, как мы подружили этот инструмент с Prometheus, Grafana, ELK, Kibana, и какие характеристики у железа, на котором это все работает.
Нашли ошибку в видео? Пишите нам на support@ontico.ru
Программа, подробности и билеты по ссылке: clck.ru/3DD4yb
--------
HighLoad++ Foundation 2022
Презентация и тезисы: highload.ru/foundation/2022/ab...
В докладе я расскажу, как мы в МТС собрали инструмент для потоковой обработки 10 миллионов событий в секунду, используя Scala(Java), Apache Spark Streaming и PostgreSQL. Почему выбрали Apache Spark Streaming, какие были проблемы на разных этапах разработки. Дам проверенные в бою рекомендации в части тюнинга Spark (concurrentJobs, speculation, memoryOverhead, memory, executors, cores и т.п.). Покажу, как мы подружили этот инструмент с Prometheus, Grafana, ELK, Kibana, и какие характеристики у железа, на котором это все работает.
Нашли ошибку в видео? Пишите нам на support@ontico.ru
Свежие видео
2 дня – 15 3510:53
2 дня – 9 3771:01
2 дня – 00:00
Случайные видео
158 дней – 2 54017:44
20.11.23 – 42 7741:32:52
20.11.23 – 15 95337:03
20.09.23 – 49 89424:08
06.11.22 – 3360:16
06.06.11 – 25728:18
1 день – 41 1711:12:08
1 день – 4 1740:43
2 дня – 45 9761:28:27
2 дня – 4 95127:50
2 дня – 10:30
