Интенсив GPT Week. Лекция 2.1.: "Про претрейн LLM"
6 410
10.6
Академия Яндекса115 тыс
Следующее
189 дней – 4 4091:01:11Популярные
135 дней – 1 32729:08
21.04.23 – 1 0691:02:48Опубликовано 16 мая 2024, 17:18
Спикер: Миша Хрущёв, руководитель группы претрейна YandexGPT
Вспомогательные ссылки:
1) Трансформеры и Attention: arxiv.org/abs/1706.03762
2) GPT-3: arxiv.org/abs/2005.14165
3) Поиск оптимального времени обучения для моделей: arxiv.org/abs/2203.15556
4) Llama: arxiv.org/abs/2302.13971 и arxiv.org/abs/2307.09288
5) Adan: arxiv.org/abs/2208.06677
6) FSDP: pytorch.org/tutorials/intermed... .
7) DeepSpeed - фреймворк для распределенного обучения. Мы от него отошли, но там куча полезных статей: deepspeed.ai
8) RoPE: arxiv-vanity.com/papers/2104.0...
Вспомогательные ссылки:
1) Трансформеры и Attention: arxiv.org/abs/1706.03762
2) GPT-3: arxiv.org/abs/2005.14165
3) Поиск оптимального времени обучения для моделей: arxiv.org/abs/2203.15556
4) Llama: arxiv.org/abs/2302.13971 и arxiv.org/abs/2307.09288
5) Adan: arxiv.org/abs/2208.06677
6) FSDP: pytorch.org/tutorials/intermed... .
7) DeepSpeed - фреймворк для распределенного обучения. Мы от него отошли, но там куча полезных статей: deepspeed.ai
8) RoPE: arxiv-vanity.com/papers/2104.0...
Свежие видео
2 дня – 3894:43
4 дня – 3 4640:56
7 дней – 31 0141:35:01
7 дней – 50 9701:45:31
8 дней – 1 67122:21
Случайные видео
5 дней – 1 5661:11:50
16.09.22 – 9192:13
10.06.21 – 23 29318:04
22.07.17 – 341 32722:33
4 дня – 19 1533:25
7 дней – 12 9572:49:42
11 дней – 55 1671:42:10
1 день – 8153:43