Интенсив GPT Week. Лекция 2.2.: "Про претрейн LLM"
4 091
9.1
Академия Яндекса115 тыс
Следующее
40 дней – 3 4811:18:06Популярные
40 дней – 2 2601:02:11
15.11.22 – 1 00826:50Опубликовано 16 мая 2024, 17:18
Спикер: Миша Хрущёв, руководитель группы претрейна YandexGPT
Вспомогательные ссылки:
1) Трансформеры и Attention: arxiv.org/abs/1706.03762
2) GPT-3: arxiv.org/abs/2005.14165
3) Поиск оптимального времени обучения для моделей: arxiv.org/abs/2203.15556
4) Llama: arxiv.org/abs/2302.13971 и arxiv.org/abs/2307.09288
5) Adan: arxiv.org/abs/2208.06677
6) FSDP: pytorch.org/tutorials/intermed... .
7) DeepSpeed - фреймворк для распределенного обучения. Мы от него отошли, но там куча полезных статей: deepspeed.ai
8) RoPE: arxiv-vanity.com/papers/2104.0...
Вспомогательные ссылки:
1) Трансформеры и Attention: arxiv.org/abs/1706.03762
2) GPT-3: arxiv.org/abs/2005.14165
3) Поиск оптимального времени обучения для моделей: arxiv.org/abs/2203.15556
4) Llama: arxiv.org/abs/2302.13971 и arxiv.org/abs/2307.09288
5) Adan: arxiv.org/abs/2208.06677
6) FSDP: pytorch.org/tutorials/intermed... .
7) DeepSpeed - фреймворк для распределенного обучения. Мы от него отошли, но там куча полезных статей: deepspeed.ai
8) RoPE: arxiv-vanity.com/papers/2104.0...
Свежие видео
2 дня – 6 68526:51
4 дня – 5 9730:40
5 дней – 26 4680:19
5 дней – 3 0431:04:26
Случайные видео
6 дней – 59 7371:45:54
229 дней – 68 8490:55
18.11.22 – 106 26130:45
08.09.21 – 1 5175:53
06.05.21 – 13228:25
12.05.16 – 2 41938:16
7 дней – 10 4910:54
10 дней – 27 4740:56
12 дней – 1 4600:59
12 дней – 7 2870:59
14 дней – 26 5401:40
