Computer vision API: highload ML on GPU / Юлиана Лихолай (Mail.ru)

3 513

8.9

Онтико83.1 тыс

Следующее

05.12.19 – 1 21743:14

Опыт моделеварения от команды ComputerVision Mail.ru / Эдуард Тянтов (Mail.ru Group)

Популярные

78 дней – 15540:58

Универсальные пуши для андроид. FCM, HMS и RuStore в одном месте / Артем Ковардин (RuStore, VK)

272 дня – 81238:35

Честные модули внутри монолита, или Когда Composer не подходит / Александр Кирсанов (ВКонтакте, VK)

Опубликовано 5 декабря 2019, 16:19

Приглашаем на конференцию Saint HighLoad++ 2024, которая пройдет 24 и 25 июня в Санкт-Петербурге!
Программа, подробности и билеты по ссылке: vk.cc/cuyIqx
--------
--------
HighLoad++ Siberia 2019

Тезисы и презентация:
highload.ru/siberia/2019/abstr...

Команда Computer Vision Mail.ru предоставляет решения для нескольких продуктов Mail.ru: Почта, Облако, Vision (b2b-продукт).

Количество работающих в проде нейросеток исчисляется десятками, но количество запросов к каждой модели разное: от 1 запроса с лендинга до 300,000 в минуту от Облака@Mail.ru. Разные архитектуры, разные паттерны нагрузки, разные фреймворки, постоянно нарастающая нагрузка на бэкенд — все это порождает серьезные сложности на пути построения универсального бэкенда. В рамках своего доклада я расскажу про самые удачные рецепты, которые зашли у нас.

Я также расскажу о том, как нам удаётся поддерживать зоопарк фреймворков (pytroch, TF, caffe, ...). Как мы используем Kubernetes для шедулинга моделей по серверам. Расскажу о преимуществе использования nvidia-docker при запуске приложений, работающих на GPU.
--------
Нашли ошибку в видео? Пишите нам на support@ontico.ru

Свежие видео