Как подобрать инфраструктуру для LLM? От выбора железа до работы в Kubernetes 💥

435
9.7
Селектел9.47 тыс
Опубликовано 25 октября 2025, 15:00
Ефим Головин, старший менеджер MLOps в Selectel показал, как на практике решить проблемы с инференсом LLM. На Selectel Tech Day 2025 поговорили, что делать бизнесу с нехваткой GPU, высокими требованиями к ресурсам и дорогим автоскейлингом Kubernetes.

А в качестве бонуса Ефим разобрал квантизацию, оптимизацию образов, кеширование весов и узкие места автоскейлинга. Смотрите доклад в удобное время 👀

Официальный сайт Selectel — slc.tl/hbJ0Q

Подписывайтесь на Selectel в социальных сетях:
Telegram — t.me/selectel
VK — vk.com/selectel

Подписывайтесь на блоги Selectel:
Хабр — habr.com/ru/company/selectel
vc.ru — vc.ru/selectel

Не пропускайте мероприятия, которые Selectel проводит сам и вместе с партнерами: slc.tl/khiyk
Телеграм-канал с вакансиями: t.me/selectelcareers
жизньигрыфильмывесельеавтотехномузыкаспортедаденьгистройкаохотаогородзнанияздоровьекреативдетское