Интенсив GPT Week. Семинар 4: "Ускорение инференса LLM"
2 105
11.1
Академия Яндекса115 тыс
Следующее
229 дней – 6 73934:05Популярные
174 дня – 3 7731:34:18
189 дней – 2 15440:58Опубликовано 16 мая 2024, 17:19
Спикер: Рома Горб, разработчик группы претрейна YandexGPT
Вспомогательные ссылки:
Канал в телеге: t.me/gromka_public
Про GPU и ускорение pretrain-a: habr.com/en/companies/yandex/a...
Курс Practical RL в ШАД-е: github.com/yandexdataschool/Pr...
Статья MiniLLM: arxiv.org/abs/2002.10957
Статья LLM.int8(): arxiv.org/abs/2208.07339
Статья SmoothQuant: arxiv.org/abs/2211.10438
Статья GPT-Q (OPT-Q): arxiv.org/abs/2210.17323
Сравнение фреймворков: sersavvov.com/blog/7-framework...
Continuous Batching: anyscale.com/blog/continuous-b...
PEFT и API sharing: habr.com/en/companies/yandex/a...
Speculative Decoding: arxiv.org/abs/2302.01318
Вспомогательные ссылки:
Канал в телеге: t.me/gromka_public
Про GPU и ускорение pretrain-a: habr.com/en/companies/yandex/a...
Курс Practical RL в ШАД-е: github.com/yandexdataschool/Pr...
Статья MiniLLM: arxiv.org/abs/2002.10957
Статья LLM.int8(): arxiv.org/abs/2208.07339
Статья SmoothQuant: arxiv.org/abs/2211.10438
Статья GPT-Q (OPT-Q): arxiv.org/abs/2210.17323
Сравнение фреймворков: sersavvov.com/blog/7-framework...
Continuous Batching: anyscale.com/blog/continuous-b...
PEFT и API sharing: habr.com/en/companies/yandex/a...
Speculative Decoding: arxiv.org/abs/2302.01318
Свежие видео
2 дня – 11 57157:45
12 дней – 1 1711:01
13 дней – 200 3941:20:37
14 дней – 51 8512:16:40
14 дней – 8550:48Случайные видео
255 дней – 1 11438:47
279 дней – 8 2640:59
280 дней – 88657:34
307 дней – 3 1661:56:02
06.10.22 – 1 656 13111:32
06.10.16 – 7 5411:05:32
2 часа – 1 79421:08
3 дня – 20 71020:06
3 дня – 4720:58
3 дня – 1 8391:46
6 дней – 1 3991:44:33
6 дней – 3 2732:15:15
7 дней – 20548:00
15 часов – 1 22750:22
1 день – 06:55