Брокер сообщений Kafka в условиях повышенной нагрузки / Артём Выборнов (Rambler&Co)

58 168

12.6

Онтико84.9 тыс

Следующее

16.01.18 – 1 31145:23

Переход с Objective-C на Swift — все ли так просто? / Олег Алексеенко (SuperJob)

Популярные

20 дней – 17236:48

Magnit Tech: сервисы остатков и цен на Go. Как справиться с большими потоками данных / Д.Жаворонков

20 дней – 25938:39

Под капотом быстрого сплитования трафика для А/B-тестирования / Дмитрий Волков (Okko)

Опубликовано 16 января 2018, 21:18

Приглашаем на конференцию HighLoad++ 2024, которая пройдет 2 и 3 декабря в Москве!
Программа, подробности и билеты по ссылке: clck.ru/3DD4yb
--------
РИТ++ 2017, Backend Conf

Тезисы:
backendconf.ru/2017/abstracts/...

Kafka - распределённый брокер сообщений, нашедший широкое применение как универсальная шина для больших данных. Kafka позволяет как реализовать realtime-обработку большого числа событий, так и построить батчевый pipeline по доставке логов.

Почему мы используем Kafka? Если коротко - унификация. А если чуть подробнее - десятки поставщиков, терабайты логов каждый день, онлайн- и офлайн-pipeline'ы - без единой высокопроизводительной шины данных с этим крайне сложно совладать.

Из доклада вы узнаете о том, почему мы перешли на Kafka, и как она вписалась в наш pipeline. Поймёте, как обеспечить exactly once доставку данных. Узнаете о том, как из-за одной опечатки в несколько раз выросла нагрузка на Kafka, и что мы из этого выяснили. Выясните, какие метрики Kafka стоит мониторить и как по ним понять, что что-то идёт не так.

Свежие видео