Потоковая обработка BigData для МТС / Евгений Ненахов (МТС Digital)

1 016

21.2

Онтико85.3 тыс

Следующее

19.01.23 – 43134:42

Возможности виртуальной памяти для улучшения масштабируемости систем/Тимур Давыдов(Московская Биржа)

Популярные

57 дней – 23443:00

BARSiC — асинхронная репликация и консенсус для 70 баз данных / Григорий Бутейко (VK, ВКонтакте)

57 дней – 21536:52

Авито.Автозагрузка: от 4 млн до 80 млн активных объявлений / Евгений Толмачев (Авито)

Опубликовано 19 января 2023, 14:56

Приглашаем на конференцию HighLoad++ 2024, которая пройдет 2 и 3 декабря в Москве!
Программа, подробности и билеты по ссылке: clck.ru/3DD4yb
--------
HighLoad++ Foundation 2022

Презентация и тезисы: highload.ru/foundation/2022/ab...

В докладе я расскажу, как мы в МТС собрали инструмент для потоковой обработки 10 миллионов событий в секунду, используя Scala(Java), Apache Spark Streaming и PostgreSQL. Почему выбрали Apache Spark Streaming, какие были проблемы на разных этапах разработки. Дам проверенные в бою рекомендации в части тюнинга Spark (concurrentJobs, speculation, memoryOverhead, memory, executors, cores и т.п.). Покажу, как мы подружили этот инструмент с Prometheus, Grafana, ELK, Kibana, и какие характеристики у железа, на котором это все работает.

Нашли ошибку в видео? Пишите нам на support@ontico.ru

Свежие видео