Как подобрать инфраструктуру для LLM? От выбора железа до работы в Kubernetes 💥
435
9.7
Селектел9.47 тыс
Следующее
196 дней – 4 7350:50Популярные
39 дней – 22 9610:40
123 дня – 25 62657:21Опубликовано 25 октября 2025, 15:00
Ефим Головин, старший менеджер MLOps в Selectel показал, как на практике решить проблемы с инференсом LLM. На Selectel Tech Day 2025 поговорили, что делать бизнесу с нехваткой GPU, высокими требованиями к ресурсам и дорогим автоскейлингом Kubernetes.
А в качестве бонуса Ефим разобрал квантизацию, оптимизацию образов, кеширование весов и узкие места автоскейлинга. Смотрите доклад в удобное время 👀
Официальный сайт Selectel — slc.tl/hbJ0Q
Подписывайтесь на Selectel в социальных сетях:
Telegram — t.me/selectel
VK — vk.com/selectel
Подписывайтесь на блоги Selectel:
Хабр — habr.com/ru/company/selectel
vc.ru — vc.ru/selectel
Не пропускайте мероприятия, которые Selectel проводит сам и вместе с партнерами: slc.tl/khiyk
Телеграм-канал с вакансиями: t.me/selectelcareers
А в качестве бонуса Ефим разобрал квантизацию, оптимизацию образов, кеширование весов и узкие места автоскейлинга. Смотрите доклад в удобное время 👀
Официальный сайт Selectel — slc.tl/hbJ0Q
Подписывайтесь на Selectel в социальных сетях:
Telegram — t.me/selectel
VK — vk.com/selectel
Подписывайтесь на блоги Selectel:
Хабр — habr.com/ru/company/selectel
vc.ru — vc.ru/selectel
Не пропускайте мероприятия, которые Selectel проводит сам и вместе с партнерами: slc.tl/khiyk
Телеграм-канал с вакансиями: t.me/selectelcareers
Свежие видео
6 дней – 17 8720:38
6 дней – 2 2262:20
6 дней – 121:00
6 дней – 28 57119:25
44 дня – 6 5730:44Случайные видео
119 дней – 3434:18
124 дня – 19 96212:52
02.08.24 – 2 83315:57
02.08.21 – 1 7440:16
21.03.21 – 1 9852:06:35
19 дней – 3158:44
3 часа – 84735:49
1 день – 51:02
1 день – 1 6037:51
2 дня – 2 8970:33
3 дня – 1 4910:24
3 дня – 1 0981:46:18
3 дня – 10 7971:03
3 дня – 88 8390:15