Интенсив GPT Week. Лекция 5: "Ускорение инференса LLM"
2 657
11.5
Академия Яндекса114 тыс
Следующее
15 дней – 1 89539:00Популярные
125 дней – 5648:27
273 дня – 84456:07Опубликовано 16 мая 2024, 17:19
Спикер: Рома Горб, разработчик группы претрейна YandexGPT
Вспомогательные ссылки:
Канал в телеге: t.me/gromka_public
Про GPU и ускорение pretrain-a: habr.com/en/companies/yandex/a...
Курс Practical RL в ШАД-е: github.com/yandexdataschool/Pr...
Статья MiniLLM: arxiv.org/abs/2002.10957
Статья LLM.int8(): arxiv.org/abs/2208.07339
Статья SmoothQuant: arxiv.org/abs/2211.10438
Статья GPT-Q (OPT-Q): arxiv.org/abs/2210.17323
Сравнение фреймворков: sersavvov.com/blog/7-framework...
Continuous Batching: anyscale.com/blog/continuous-b...
PEFT и API sharing: habr.com/en/companies/yandex/a...
Speculative Decoding: arxiv.org/abs/2302.01318
Вспомогательные ссылки:
Канал в телеге: t.me/gromka_public
Про GPU и ускорение pretrain-a: habr.com/en/companies/yandex/a...
Курс Practical RL в ШАД-е: github.com/yandexdataschool/Pr...
Статья MiniLLM: arxiv.org/abs/2002.10957
Статья LLM.int8(): arxiv.org/abs/2208.07339
Статья SmoothQuant: arxiv.org/abs/2211.10438
Статья GPT-Q (OPT-Q): arxiv.org/abs/2210.17323
Сравнение фреймворков: sersavvov.com/blog/7-framework...
Continuous Batching: anyscale.com/blog/continuous-b...
PEFT и API sharing: habr.com/en/companies/yandex/a...
Speculative Decoding: arxiv.org/abs/2302.01318
Свежие видео
5 дней – 60 41911:57
5 дней – 4 1751:57:47
5 дней – 280 06446:33
6 дней – 1 40726:08
7 дней – 4 2191:46:14
7 дней – 35 42710:13Случайные видео
77 дней – 216 7510:37
131 день – 4 9441:00
05.11.21 – 17 39526:03
23.10.21 – 23 6561:48:00
07.09.20 – 11 6689:23
27.08.12 – 27 4292:05
20 часов – 3 8800:30
1 день – 19 00550:57
2 дня – 47 70842:20
3 дня – 67 4591:38
3 дня – 13 0410:55
6 дней – 1 1000:41
4 дня – 5 1586:34