Интенсив GPT Week. Семинар 4: "Ускорение инференса LLM"
2 074
10.8
Академия Яндекса115 тыс
Следующее
189 дней – 6 50034:05Популярные
130 дней – 3 26414:32
211 дней – 1 9371:43:06Опубликовано 16 мая 2024, 17:19
Спикер: Рома Горб, разработчик группы претрейна YandexGPT
Вспомогательные ссылки:
Канал в телеге: t.me/gromka_public
Про GPU и ускорение pretrain-a: habr.com/en/companies/yandex/a...
Курс Practical RL в ШАД-е: github.com/yandexdataschool/Pr...
Статья MiniLLM: arxiv.org/abs/2002.10957
Статья LLM.int8(): arxiv.org/abs/2208.07339
Статья SmoothQuant: arxiv.org/abs/2211.10438
Статья GPT-Q (OPT-Q): arxiv.org/abs/2210.17323
Сравнение фреймворков: sersavvov.com/blog/7-framework...
Continuous Batching: anyscale.com/blog/continuous-b...
PEFT и API sharing: habr.com/en/companies/yandex/a...
Speculative Decoding: arxiv.org/abs/2302.01318
Вспомогательные ссылки:
Канал в телеге: t.me/gromka_public
Про GPU и ускорение pretrain-a: habr.com/en/companies/yandex/a...
Курс Practical RL в ШАД-е: github.com/yandexdataschool/Pr...
Статья MiniLLM: arxiv.org/abs/2002.10957
Статья LLM.int8(): arxiv.org/abs/2208.07339
Статья SmoothQuant: arxiv.org/abs/2211.10438
Статья GPT-Q (OPT-Q): arxiv.org/abs/2210.17323
Сравнение фреймворков: sersavvov.com/blog/7-framework...
Continuous Batching: anyscale.com/blog/continuous-b...
PEFT и API sharing: habr.com/en/companies/yandex/a...
Speculative Decoding: arxiv.org/abs/2302.01318
Свежие видео
1 день – 2 0411:14:47
3 дня – 9731:00
3 дня – 1 5546:47
4 дня – 2531:37
8 дней – 51 8491:55:26
Случайные видео
162 дня – 70 1630:43
260 дней – 3 4981:25:31
18.04.22 – 18 8313:50
03.04.22 – 4 8791:51:30
30.03.11 – 4 73323:01
2 дня – 10 7060:23
2 дня – 280:31
3 дня – 39 96321:27
9 дней – 6 7152:09
11 дней – 40 23026:37
17 дней – 47 7921:30:42
19 дней – 2 0390:44
6 часов – 30:29
1 день – 1 5151:26:25