7 петабайт логов в Elastic. Как мы это сделали? / Роман Николаев (Тинькофф)

2 414
13.6
Онтико84.9 тыс
Опубликовано 17 апреля 2024, 8:10
Приглашаем на конференцию HighLoad++ 2024, которая пройдет 2 и 3 декабря в Москве!
Программа, подробности и билеты по ссылке: clck.ru/3DD4yb
--------
Профессиональная конференция разработчиков высоконагруженных систем Saint HighLoad++ 2023
Генеральный партнер конференции Garage Eight.

Презентация и тезисы:
highload.ru/spb/2023/abstracts...

В Тинькофф тысячи сервисов, и все эти сервисы пишут логи. За сбор логов и метрик отвечает Sage — платформа мониторинга собственной разработки с Elasticsearch под капотом. Объемы логов постоянно росли и сейчас это 7 ПБ, а суммарное количество нод на 15 кластерах в двух ДЦ достигло 370 штук.
...

Нашли ошибку в видео? Пишите нам на support@ontico.ru
жизньигрыфильмывесельеавтотехномузыкаспортедаденьгистройкаохотаогородзнанияздоровьекреативдетское