https://github.com/Vali-98/ChatterUI/releases/tag/v0.8.6/

ChatterUI — это нативный мобильный интерфейс для языковых моделей (LLM). Запускайте LLM на устройстве или подключайтесь к различным коммерческим и открытым API. ChatterUI предлагает удобный мобильный интерфейс с детальным контролем структуры чатов. Возможности: - Локальный режим: работа LLM непосредственно на устройстве - Удаленный режим: подключение к различным API - Общение с персонажами (поддержка спецификации Character Card v2) - Создание и управление несколькими чатами для каждого персонажа - Настройка параметров Sampler и формата Instruct - Интеграция с системной функцией преобразования текста в речь (TTS) Локальный режим ChatterUI использует llama.cpp для запуска файлов gguf непосредственно на устройстве. Для интеграции с react-native применяется специальный адаптер: cui-llama.rn. Чтобы задействовать локальные вычисления, сначала включите Локальный режим, затем перейдите в Модели → Импорт модели / Использовать внешнюю модель и выберите gguf-модель, которая помещается в память вашего устройства. Доступны следующие функции импорта: - Импорт модели – копирует файл модели в ChatterUI, что может ускорить время запуска. - Использовать внешнюю модель – работает с моделью напрямую из памяти устройства, избегая копирования больших файлов в ChatterUI, но с небольшой задержкой при загрузке. После этого вы можете загрузить модель и начать общение! ⚠️ Примечание: для устройств с Snapdragon 8 Gen 1 и новее или Exynos 2200+ рекомендуется использовать квантование Q4_0 для оптимизации производительности. Удалённый режим Удалённый режим позволяет подключаться к популярным API как коммерческих, так и открытых проектов. Открытые бэкенды: - koboldcpp - text-generation-webui - Ollama Специализированные API: - OpenAI - Claude (с возможностью использования прокси) - Cohere - Open Router - Mancer - AI Horde Универсальные бэкенды: - Стандартные текстовые завершения (Generic Text Completions) - Стандартные чат-завершения (Generic Chat Completions)