Интенсив GPT Week. Лекция 5: "Ускорение инференса LLM"
3 095
12.1
Академия Яндекса115 тыс
Следующее
189 дней – 2 07439:00Популярные
29 дней – 31253:01
Опубликовано 16 мая 2024, 17:19
Спикер: Рома Горб, разработчик группы претрейна YandexGPT
Вспомогательные ссылки:
Канал в телеге: t.me/gromka_public
Про GPU и ускорение pretrain-a: habr.com/en/companies/yandex/a...
Курс Practical RL в ШАД-е: github.com/yandexdataschool/Pr...
Статья MiniLLM: arxiv.org/abs/2002.10957
Статья LLM.int8(): arxiv.org/abs/2208.07339
Статья SmoothQuant: arxiv.org/abs/2211.10438
Статья GPT-Q (OPT-Q): arxiv.org/abs/2210.17323
Сравнение фреймворков: sersavvov.com/blog/7-framework...
Continuous Batching: anyscale.com/blog/continuous-b...
PEFT и API sharing: habr.com/en/companies/yandex/a...
Speculative Decoding: arxiv.org/abs/2302.01318
Вспомогательные ссылки:
Канал в телеге: t.me/gromka_public
Про GPU и ускорение pretrain-a: habr.com/en/companies/yandex/a...
Курс Practical RL в ШАД-е: github.com/yandexdataschool/Pr...
Статья MiniLLM: arxiv.org/abs/2002.10957
Статья LLM.int8(): arxiv.org/abs/2208.07339
Статья SmoothQuant: arxiv.org/abs/2211.10438
Статья GPT-Q (OPT-Q): arxiv.org/abs/2210.17323
Сравнение фреймворков: sersavvov.com/blog/7-framework...
Continuous Batching: anyscale.com/blog/continuous-b...
PEFT и API sharing: habr.com/en/companies/yandex/a...
Speculative Decoding: arxiv.org/abs/2302.01318
Свежие видео
3 дня – 3356:21
5 дней – 5 37654:41
7 дней – 2 8710:57
8 дней – 42 3320:59Случайные видео
273 дня – 3 4671:42:44
16.06.23 – 4 98258:14
14.10.22 – 223 06734:44
28.07.21 – 9 8512:35
22.01.21 – 1 02247:31
22.12.09 – 1581:13:16
20 часов – 73527:52
1 час – 00:28
1 день – 8153:43
6 дней – 16 53622:54
7 дней – 8 5392:04:38
9 дней – 9 2971:24:20
1 день – 17359:14
1 день – 4 7700:33