雨晴llm安卓版

雨晴llm安卓版是一款本地化离线使用的推理服务器软件。本软件拥有配套的完善的功能，可以试试的来体验这种服务，带给你你最好的大数据功能。可以查看功耗和手机硬件配置。在这里能够轻松的接入不同的ai接口的服务，灵活的平衡模型和推理的效果，喜欢的可以来下载体验一下。

雨晴llm安卓版怎么用

1、下载软件并安装后，打开软件，授予存储、后台悬浮窗、后台运行权限;

2、进入模型管理页面，下载对应 Gemma 量化模型文件;

3、选择 CPU/GPU 推理后端，启动本地 API 服务;

4、使用任意兼容 OpenAI API 的客户端，填写本地地址 `http://127.0.0.1:8080` 即可调用;

5、悬浮窗可随时查看生成进度、切换模型、关闭服务。

功能介绍

1、原生支持 Gemma 大模型本地推理，所有计算在手机端完成，不依赖云端服务器，充分保护对话数据隐私。

2、各类聊天的前端、自动化的工具，可以对接不同的ai软件生态。

3、多种推理后端可以使用，根据自己的手机硬件配置，自主选择。

特色说明

1、支持悬浮窗窗口，不需要常驻应用的额主界面，可以查看应用的日志。

2、模型采用的就是独立的下载机制，可以导入不同的权重文件。

3、支持多轮对话，上下文完美衔接，完全离线的本地化运行，使用比较简单。

软件点评

本地化的推理大模型，自己可以配置不同的接口，还能够对接一些不同的ai软件，使用很方便，本地化运行，不需要担心数据的安全和隐私。

更新日志

v1.0.0版本

新增账号登录记住密码独立开关按需开启关闭

新增云端数据同步支持多设备互通本地记录

修复内容置顶操作刷新页面后置顶状态取消

优化弹窗弹出逻辑屏蔽重复无关推送弹窗

新增云端文件离线标记提前缓存所需内容