Цель: настроить сервер с веб-интерфейсом для работы с LLM Основное предназначение — использование для литературной работы: генерация текста, написании книг, диалоги, развитие сюжетов и персонажей и т.п. Также важно предусмотреть возможность дообучения/настройки модели на собственных данных, инструкциях.
Что требуется:
Установить и настроить стабильную среду для запуска LLM.
Есть ПК на Windows
Настроить чат-интерфейс для взаимодействия с моделью
Оптимизировать работу под текущее оборудование, если говорить про локальный сервер
Реализовать расширенные возможности: дообучение (инструкционное или на основе загруженных книг других авторов, удобная настройка параметров генерации)
Настроить удалённый доступ к чату — чтобы можно было передать готовый интерфейс другому человеку, находящемуся в другом городе