Интенсив GPT Week. Лекция 2.2.: "Про претрейн LLM"
4 049
9.1
Академия Яндекса114 тыс
Следующее
27 дней – 3 4381:18:06Популярные
41 день – 5871:12:23
137 дней – 14043:24Опубликовано 16 мая 2024, 17:18
Спикер: Миша Хрущёв, руководитель группы претрейна YandexGPT
Вспомогательные ссылки:
1) Трансформеры и Attention: arxiv.org/abs/1706.03762
2) GPT-3: arxiv.org/abs/2005.14165
3) Поиск оптимального времени обучения для моделей: arxiv.org/abs/2203.15556
4) Llama: arxiv.org/abs/2302.13971 и arxiv.org/abs/2307.09288
5) Adan: arxiv.org/abs/2208.06677
6) FSDP: pytorch.org/tutorials/intermed... .
7) DeepSpeed - фреймворк для распределенного обучения. Мы от него отошли, но там куча полезных статей: deepspeed.ai
8) RoPE: arxiv-vanity.com/papers/2104.0...
Вспомогательные ссылки:
1) Трансформеры и Attention: arxiv.org/abs/1706.03762
2) GPT-3: arxiv.org/abs/2005.14165
3) Поиск оптимального времени обучения для моделей: arxiv.org/abs/2203.15556
4) Llama: arxiv.org/abs/2302.13971 и arxiv.org/abs/2307.09288
5) Adan: arxiv.org/abs/2208.06677
6) FSDP: pytorch.org/tutorials/intermed... .
7) DeepSpeed - фреймворк для распределенного обучения. Мы от него отошли, но там куча полезных статей: deepspeed.ai
8) RoPE: arxiv-vanity.com/papers/2104.0...
Свежие видео
2 дня – 224 5980:34
4 дня – 8 5340:28
5 дней – 27829:47
Случайные видео
40 дней – 81 99511:49
258 дней – 1 3221:01:10
326 дней – 1 4611:53:50
15.09.22 – 27 0285:45
02.08.19 – 34728:36
26.03.09 – 10 1976:31
1 день – 3 54824:11
1 день – 66 2481:46:56
3 дня – 2591:22
3 дня – 1 4691:25:26
5 дней – 3 9243:37
5 дней – 6530:58
6 дней – 7032:11
2 дня – 4 3518:11