ChatterUI

ChatterUI — это нативный мобильный интерфейс для языковых моделей (LLM).

Запускайте LLM на устройстве или подключайтесь к различным коммерческим и открытым API. ChatterUI предлагает удобный мобильный интерфейс с детальным контролем структуры чатов.

Возможности:

- Локальный режим: работа LLM непосредственно на устройстве - Удаленный режим: подключение к различным API - Общение с персонажами (поддержка спецификации Character Card v2) - Создание и управление несколькими чатами для каждого персонажа - Настройка параметров Sampler и формата Instruct - Интеграция с системной функцией преобразования текста в речь (TTS)

Локальный режим

ChatterUI использует llama.cpp для запуска файлов gguf непосредственно на устройстве. Для интеграции с react-native применяется специальный адаптер: cui-llama.rn.

Чтобы задействовать локальные вычисления, сначала включите Локальный режим, затем перейдите в Модели → Импорт модели / Использовать внешнюю модель и выберите gguf-модель, которая помещается в память вашего устройства. Доступны следующие функции импорта:

- Импорт модели – копирует файл модели в ChatterUI, что может ускорить время запуска. - Использовать внешнюю модель – работает с моделью напрямую из памяти устройства, избегая копирования больших файлов в ChatterUI, но с небольшой задержкой при загрузке.

После этого вы можете загрузить модель и начать общение!

⚠️ Примечание: для устройств с Snapdragon 8 Gen 1 и новее или Exynos 2200+ рекомендуется использовать квантование Q4_0 для оптимизации производительности.

Удалённый режим

Удалённый режим позволяет подключаться к популярным API как коммерческих, так и открытых проектов.

Открытые бэкенды:

- koboldcpp - text-generation-webui - Ollama

Специализированные API:

- OpenAI - Claude (с возможностью использования прокси) - Cohere - Open Router - Mancer - AI Horde

Универсальные бэкенды:

- Стандартные текстовые завершения (Generic Text Completions) - Стандартные чат-завершения (Generic Chat Completions)