Интенсив GPT Week. Лекция 2.1.: "Про претрейн LLM"
6 522
10.8
Академия Яндекса115 тыс
Следующее
229 дней – 4 4941:01:11Популярные
Опубликовано 16 мая 2024, 17:18
Спикер: Миша Хрущёв, руководитель группы претрейна YandexGPT
Вспомогательные ссылки:
1) Трансформеры и Attention: arxiv.org/abs/1706.03762
2) GPT-3: arxiv.org/abs/2005.14165
3) Поиск оптимального времени обучения для моделей: arxiv.org/abs/2203.15556
4) Llama: arxiv.org/abs/2302.13971 и arxiv.org/abs/2307.09288
5) Adan: arxiv.org/abs/2208.06677
6) FSDP: pytorch.org/tutorials/intermed... .
7) DeepSpeed - фреймворк для распределенного обучения. Мы от него отошли, но там куча полезных статей: deepspeed.ai
8) RoPE: arxiv-vanity.com/papers/2104.0...
Вспомогательные ссылки:
1) Трансформеры и Attention: arxiv.org/abs/1706.03762
2) GPT-3: arxiv.org/abs/2005.14165
3) Поиск оптимального времени обучения для моделей: arxiv.org/abs/2203.15556
4) Llama: arxiv.org/abs/2302.13971 и arxiv.org/abs/2307.09288
5) Adan: arxiv.org/abs/2208.06677
6) FSDP: pytorch.org/tutorials/intermed... .
7) DeepSpeed - фреймворк для распределенного обучения. Мы от него отошли, но там куча полезных статей: deepspeed.ai
8) RoPE: arxiv-vanity.com/papers/2104.0...
Свежие видео
4 дня – 3 98412:17
6 дней – 1 3991:44:33
7 дней – 81 8200:17
7 дней – 6643:35
8 дней – 35 4681:55:36Случайные видео
121 день – 2 5790:59
147 дней – 13 1162:12:34
296 дней – 2 8690:17
328 дней – 81357:05
10.10.23 – 33 9321:55:10
28.07.10 – 8 5002:27
15 часов – 4230:25
1 день – 1 84555:35
7 дней – 32 2802:03:12
7 дней – 14 5871:00
10 дней – 1 9620:21
11 дней – 1 27646:52
12 дней – 9258:38
10 часов – 5391:27:50