Интенсив GPT Week. Лекция 5: "Ускорение инференса LLM"
3 143
12.2
Академия Яндекса116 тыс
Следующее
220 дней – 2 10339:00Популярные
160 дней – 3 30614:32
178 дней – 1 33939:49Опубликовано 16 мая 2024, 17:19
Спикер: Рома Горб, разработчик группы претрейна YandexGPT
Вспомогательные ссылки:
Канал в телеге: t.me/gromka_public
Про GPU и ускорение pretrain-a: habr.com/en/companies/yandex/a...
Курс Practical RL в ШАД-е: github.com/yandexdataschool/Pr...
Статья MiniLLM: arxiv.org/abs/2002.10957
Статья LLM.int8(): arxiv.org/abs/2208.07339
Статья SmoothQuant: arxiv.org/abs/2211.10438
Статья GPT-Q (OPT-Q): arxiv.org/abs/2210.17323
Сравнение фреймворков: sersavvov.com/blog/7-framework...
Continuous Batching: anyscale.com/blog/continuous-b...
PEFT и API sharing: habr.com/en/companies/yandex/a...
Speculative Decoding: arxiv.org/abs/2302.01318
Вспомогательные ссылки:
Канал в телеге: t.me/gromka_public
Про GPU и ускорение pretrain-a: habr.com/en/companies/yandex/a...
Курс Practical RL в ШАД-е: github.com/yandexdataschool/Pr...
Статья MiniLLM: arxiv.org/abs/2002.10957
Статья LLM.int8(): arxiv.org/abs/2208.07339
Статья SmoothQuant: arxiv.org/abs/2211.10438
Статья GPT-Q (OPT-Q): arxiv.org/abs/2210.17323
Сравнение фреймворков: sersavvov.com/blog/7-framework...
Continuous Batching: anyscale.com/blog/continuous-b...
PEFT и API sharing: habr.com/en/companies/yandex/a...
Speculative Decoding: arxiv.org/abs/2302.01318
Свежие видео
3 дня – 1 0731:01
4 дня – 4 5700:40
8 дней – 20227:39
10 дней – 2 07729:02
116 дней – 8 6190:46Случайные видео
350 дней – 325 8483:45
351 день – 5 0880:47
27.11.23 – 1 7610:42
02.03.23 – 35110:22
14.10.09 – 45 6354:00
13 дней – 15 3072:01
16 часов – 2 5717:22
8 часов – 61 18120:43
1 день – 11 4423:26
3 дня – 1 9861:07:28
4 дня – 8 1607:15
7 дней – 18 8562:16
8 дней – 11 6550:14
1 день – 2 0350:57