Интенсив GPT Week. Лекция 2.2.: "Про претрейн LLM"
4 413
9.4
Академия Яндекса115 тыс
Следующее
193 дня – 3 7681:18:06Популярные
133 дня – 3 26914:32
193 дня – 4 7061:33:21Опубликовано 16 мая 2024, 17:18
Спикер: Миша Хрущёв, руководитель группы претрейна YandexGPT
Вспомогательные ссылки:
1) Трансформеры и Attention: arxiv.org/abs/1706.03762
2) GPT-3: arxiv.org/abs/2005.14165
3) Поиск оптимального времени обучения для моделей: arxiv.org/abs/2203.15556
4) Llama: arxiv.org/abs/2302.13971 и arxiv.org/abs/2307.09288
5) Adan: arxiv.org/abs/2208.06677
6) FSDP: pytorch.org/tutorials/intermed... .
7) DeepSpeed - фреймворк для распределенного обучения. Мы от него отошли, но там куча полезных статей: deepspeed.ai
8) RoPE: arxiv-vanity.com/papers/2104.0...
Вспомогательные ссылки:
1) Трансформеры и Attention: arxiv.org/abs/1706.03762
2) GPT-3: arxiv.org/abs/2005.14165
3) Поиск оптимального времени обучения для моделей: arxiv.org/abs/2203.15556
4) Llama: arxiv.org/abs/2302.13971 и arxiv.org/abs/2307.09288
5) Adan: arxiv.org/abs/2208.06677
6) FSDP: pytorch.org/tutorials/intermed... .
7) DeepSpeed - фреймворк для распределенного обучения. Мы от него отошли, но там куча полезных статей: deepspeed.ai
8) RoPE: arxiv-vanity.com/papers/2104.0...
Свежие видео
14 часов – 30:37
2 дня – 43 3970:52
6 дней – 41 23021:13
12 дней – 8312:32
13 дней – 2 7451:00
13 дней – 1 74119:00Случайные видео
116 дней – 324 6890:42
143 дня – 6 62247:08
214 дней – 153 03614:44
17.07.23 – 8100:33
13.04.22 – 7071:43:49
5 дней – 7 4093:56
5 дней – 12 6151:00:11
6 дней – 21 8372:09
6 дней – 1 2401:00
9 дней – 2 8421:00
11 дней – 51 5561:45:31
14 часов – 30:42