Потоковая обработка BigData для МТС / Евгений Ненахов (МТС Digital)
1 002
20.9
Онтико84.7 тыс
Следующее
Популярные
7 дней – 9952:11
Опубликовано 19 января 2023, 14:56
Приглашаем на конференцию HighLoad++ 2024, которая пройдет 2 и 3 декабря в Москве!
Программа, подробности и билеты по ссылке: clck.ru/3DD4yb
--------
HighLoad++ Foundation 2022
Презентация и тезисы: highload.ru/foundation/2022/ab...
В докладе я расскажу, как мы в МТС собрали инструмент для потоковой обработки 10 миллионов событий в секунду, используя Scala(Java), Apache Spark Streaming и PostgreSQL. Почему выбрали Apache Spark Streaming, какие были проблемы на разных этапах разработки. Дам проверенные в бою рекомендации в части тюнинга Spark (concurrentJobs, speculation, memoryOverhead, memory, executors, cores и т.п.). Покажу, как мы подружили этот инструмент с Prometheus, Grafana, ELK, Kibana, и какие характеристики у железа, на котором это все работает.
Нашли ошибку в видео? Пишите нам на support@ontico.ru
Программа, подробности и билеты по ссылке: clck.ru/3DD4yb
--------
HighLoad++ Foundation 2022
Презентация и тезисы: highload.ru/foundation/2022/ab...
В докладе я расскажу, как мы в МТС собрали инструмент для потоковой обработки 10 миллионов событий в секунду, используя Scala(Java), Apache Spark Streaming и PostgreSQL. Почему выбрали Apache Spark Streaming, какие были проблемы на разных этапах разработки. Дам проверенные в бою рекомендации в части тюнинга Spark (concurrentJobs, speculation, memoryOverhead, memory, executors, cores и т.п.). Покажу, как мы подружили этот инструмент с Prometheus, Grafana, ELK, Kibana, и какие характеристики у железа, на котором это все работает.
Нашли ошибку в видео? Пишите нам на support@ontico.ru
Свежие видео
4 дня – 49 0881:36:13
5 дней – 458:21
Случайные видео
14 дней – 71 2720:58
227 дней – 328 2281:00
25.07.23 – 8038:54
14.01.23 – 35 82447:14
02.12.20 – 1 8741:44:10
05.05.15 – 88623:08
1 день – 5341:22:41
3 дня – 23 39550:05
4 дня – 17 6142:07:23
5 дней – 877:51
7 дней – 19247:09
