Как запустить ChatGPT на домашнем компе без интернета.

20.10.2023 - 472 просмотрa ;)

Такое легко делается в наше время.

Качаем koboldcpp с Releases · LostRuins/koboldcpp (github.com)

Если у вас есть видяха нормальная, то качаем первый, если нет видяхи то без Куды(второй)

Качаем модель (их тысячи уже, выбирать придется через кровь и боль и пот) отсюда например
TheBloke (Tom Jobbins) (huggingface.co)

Подскажу что у меня отлично заработала airoboros-m-7b-3.1.2.Q5_K_M.gguf

Запускаете koboldcpp.exe

Дальше как на картинке выбираете

Пресет: Cublas

GPUID: All (Это для тех у кого видяхи)

Модель естессно указываете.

Запускаете, открывается Бройзер и там можно Генерить текст быстро и приятно, почти как в ChatGPT.

И теперь главный фокус, отключаем интернет и мы все равно можем генерить. Никаких там платных АПИ ключей, никаких странных регистраций на телефонные номера из разных стран. Все бесплатно и приемлемо. Хотя Гигачат и Яндекс генерит статьи быстрее конечно, да и платный ChatGPTтоже побыстрее будет.. но это от машины зависит я так понимаю.

 

Вот видите как все просто. Теперь ставите разные модели и работаете с ними.

Статьи из раздела, Видеочат рулетка