Устанавливаем LLaMa 2 на MacBook Pro 2020 / Хороший Стрим #5

Опубликовано 6 августа 2023, 0:07

На этом стриме показываю как установить LLaMa 2 у себя на MacBook.
Разворачиваем 7B-chat модель на MacBook Pro 2020 (M1, 16Gb оперативы, 10 графических ядер).

👉 Фонд Антона Довгоброда "Благородний Щедрий Лелека": bslhelp.org.ua

ЗАДОНАТИТЬ В ПОДДЕРЖКУ КАНАЛА
🔸 PayPal: paypal.com/paypalme/itbeard
🔸 Patreon: patreon.com/itbeard
🔸 Buymeacoffee: buymeacoffee.com/itbead
🔸 Buycoffee (для жителей Польши): buycoffee.to/itbeard
🔸 BTC: bc1qvr9areesmfukpphe2es2q339p42yyr7pph73ty
🔸 ETH: 0xedd9B89632c3d0F774a1204fC8F2B9378dC17beB
🔸 USDT (ERC-20, BEP-20): 0xedd9B89632c3d0F774a1204fC8F2B9378dC17beB
🔸 USDT (TRC-20): TUXAXsM2EEwj6Yu4ragkYDS3riwiSQMEuL
🔸 "Суперспасибо" в комментариях на YouTube

ССЫЛКИ СО СТРИМА
🔹Видео, по которому всё делаем: youtu.be/TsVZJbnnaSs (channel @AZisk, thx man!)
🔹Запросить доступ на LLaMa 2: ai.meta.com/resources/models-a...
🔹Репозиторий LLaMa: github.com/facebookresearch/ll...
🔹Репозиторий llama.cpp: github.com/ggerganov/llama.cpp

*КОМАНДЫ СО СТРИМА*
_pip install -r requirements.txt_
_python3 convert.py --outfile models/7B-chat/ggml-model-f16.bin --outtype f16 ../llama-2-7b-chat_
_./quantize ./models/7B-chat/ggml-model-f16.bin ./models/7B-chat/ggml-model-q4_0.bin q4_0_
-./main -m ./models/7B-chat/ggml-model-q4_0.bin -n 1024 --repeat_penalty 1.0 --color -i -r "User:" -f ./prompts/chat-with-bob.txt_

НАВИГАЦИЯ
0:00 Настройка
10:05 Начало, конкурс и вопросы
35:05 Скачиваем модель
1:19:25 Подготовка инфренса и квантизация модели
1:57:00 Запуск модели и баловство
2:33:45 Ответы на вопросы