Как запустить ChatGPT на домашнем компе без интернета.
Такое легко делается в наше время. Качаем koboldcpp с Releases · LostRuins/koboldcpp (github.com) Если у вас есть видяха нормальная, то качаем первый, если нет видяхи то без Куды(второй)
Качаем модель (их тысячи уже, выбирать придется через кровь и боль и пот) отсюда например
TheBloke (Tom Jobbins) (huggingface.co)
Подскажу что у меня отлично заработала airoboros-m-7b-3.1.2.Q5_K_M.gguf
Запускаете koboldcpp.exe
Дальше как на картинке выбираете
Пресет: Cublas
GPUID: All (Это для тех у кого видяхи)
Модель естессно указываете.
Запускаете, открывается Бройзер и там можно Генерить текст быстро и приятно, почти как в ChatGPT.
И теперь главный фокус, отключаем интернет и мы все равно можем генерить. Никаких там платных АПИ ключей, никаких странных регистраций на телефонные номера из разных стран. Все бесплатно и приемлемо. Хотя Гигачат и Яндекс генерит статьи быстрее конечно, да и платный ChatGPTтоже побыстрее будет.. но это от машины зависит я так понимаю.
Вот видите как все просто. Теперь ставите разные модели и работаете с ними.
Telegram канал о биржах ссылок
Видеочат рулетка
