雨晴LLM v1.0.0

Tags： 悬浮窗工具软件

雨晴LLM软件配备可自由拖动的悬浮控制窗口，无需常驻软件主界面，用户在切换其他应用、日常使用手机的过程中，可随时通过悬浮窗调控推理服务、查看运行数据，操作便捷不影响其他使用场景。同时软件具备稳定的持久后台服务能力，能够持续驻留后台运行推理进程，不会因后台清理、页面切换随意中断任务，保障大模型推理工作持续稳定进行，满足用户长时间、持续性的离线AI使用需求。

雨晴LLM软件介绍

雨晴LLM拥有灵活自由的模型适配机制，兼容性与拓展性极强。软件本身不内置固定模型文件，支持用户自主下载、导入各类开源大模型权重，可根据自身设备配置与使用需求，灵活选择不同参数量、不同规格的模型文件，适配范围广泛。启动推理服务后，所有支持OpenAI接口的客户端都可直接接入手机端离线Gemma模型，实现多端联动使用。

雨晴LLM软件说明

1、优化移动端资源调度策略，后台推理时管控功耗与内存占用，减少长时间运行出现卡顿、闪退问题，延长离线推理任务持续运行时长。

2、支持多客户端同时接入本地API服务，局域网内其他设备也可访问推理接口，实现手机作为家庭离线AI中枢供多终端调用大模型能力。

3、全程支持完全离线运行模式，所有推理运算均在手机本地完成，不会上传对话数据至云端，全方位保障用户隐私内容安全。

4、内置多模型本地管理面板，可一键切换不同参数规格的导入模型，无需重复下载文件，快速适配不同场景的推理需求。

雨晴LLM软件特色

1、搭载推理任务队列调度机制，多请求同时接入时自动按优先级排序处理，避免高并发场景下出现任务拥堵、响应超时的问题。

2、支持自定义端口号与访问权限设置，可手动配置本地API的访问规则，避免无关设备随意接入，保障本地AI服务的使用安全性。

3、内置推理日志实时导出功能，可将每一次推理的运行数据完整导出留存，方便开发者调试程序、排查推理过程中出现的异常问题。

4、适配主流移动端安卓系统版本，从低版本老旧机型到最新旗舰设备都能正常安装运行，大幅降低本地部署离线大模型的硬件门槛。

雨晴LLM软件怎么使用

1、安装APK，授予存储、后台悬浮窗、后台运行权限。

2、进入模型管理页面，下载对应Gemma量化模型文件。

3、选择CPU/GPU推理后端，启动本地API服务。

4、使用任意兼容OpenAIAPI的客户端，填写本地地址`//127.0.0.1:8080`即可调用。

5、悬浮窗可随时查看生成进度、切换模型、关闭服务。