雨晴 LLM

# RainyLLM (雨晴LLM) "在手机上跑 Gemma，开放 OpenAI 兼容 API" 🐱☁️

一个纯离线的 Android 本地 LLM 推理服务器。集成 Google LiteRT-LM 引擎运行 Gemma 模型，通过 NanoHTTPd 在 `127.0.0.1` 广播 OpenAI 兼容 API，供 Chat 类客户端、本地自动化工具调用。

## 核心特性一览 | 特性 | 详细说明 | |------|--------| | 🧠 本地离线推理 | 基于 Google LiteRT-LM 推理引擎，原生支持 Gemma4-E2B / Gemma4-E4B 官方指令版、无限制版本；支持 CPU / GPU 推理后端自由切换，高端安卓设备开启 GPU 加速，大幅提升文本生成速度 | | 🌐 OpenAI 标准兼容 API | 内置全套对齐 OpenAI 接口规范的本地服务，接口清单：<br>`/v1/chat/completions` 对话生成接口<br>`/v1/models` 模型列表查询<br>`/health` 服务健康检测<br>免鉴权，任意自定义 API Key 均可调用本地推理服务 | | 🔒 隐私安全 · 零外网上传 | 服务仅绑定本机回环地址 `127.0.0.1`，不会暴露至局域网、公网；所有对话记录、模型缓存、Token 日志全部存储本机，无自动联网上传逻辑，断网状态下完整运行 | | 📊 实时运行统计面板 | 内置可视化监控界面，展示实时推理请求日志、Token 消耗统计图表、LiteRT 引擎硬件诊断、显存/内存占用曲线 | | 🪟 全局悬浮交互窗口 | 粉色猫耳主题可拖动悬浮窗，支持最小化、置顶；通知栏常驻快捷开关，一键启停推理服务、快速打开对话界面 | | 🔌 后台持久保活机制 | 采用 Android 前台服务 Foreground Service + WakeLock 屏幕锁机制，搭配常驻通知栏，避免系统后台清理中断推理进程 |

## 基础信息（匹配截图 1.0.0 版本） - 应用名称：雨晴 LLM - 软件版本：1.0.0 - 应用包名：`com.rainyllm.app` - 安装包体积：57.1 MB - 开发仓库：https://github.com/CATMIAOZHI/RainyLLM

## 下载与模型说明 1. 安装包获取：前往项目 Releases 页面下载对应 APK 安装包； 2. 模型文件说明：APK 本体仅包含推理引擎与界面，模型权重需在 App 内内置下载器单独获取； 3. 推荐基础模型：

| 模型名称 | 文件体积 | 版本类型 | 模型来源仓库 | |---------|---------|---------|------------| | Gemma 4 E2B | ~2.58 GB | 官方合规指令版 | litert-community | | Gemma 4 E4B | ~4.92 GB | 无限制拓展版 | litert-community |

## 使用流程 1. 安装 APK，授予存储、后台悬浮窗、后台运行权限； 2. 进入模型管理页面，下载对应 Gemma 量化模型文件； 3. 选择 CPU/GPU 推理后端，启动本地 API 服务； 4. 使用任意兼容 OpenAI API 的客户端，填写本地地址 `http://127.0.0.1:8080` 即可调用； 5. 悬浮窗可随时查看生成进度、切换模型、关闭服务。

## 生态配套项目 同系列开源离线工具： - RainyEmbedding（雨晴向量）：本地文本向量化服务，提供 Embedding 兼容 API - RainyToken：轻量化本地 Token 计算工具，适配 Gemma 分词器

## 开源协议 本项目采用 MIT 开源协议，可自由二次编译、修改、分发，禁止商用牟利。