简体中文 | English
开源 Android AI Agent,让一句话变成手机上的实际行动。
Helix 在 Android 本机执行任务:操作支持的应用界面、浏览网页、处理文件和运行工具。你选择模型与访问范围,Helix 展示执行过程,并把结果留在可查看、可继续使用的会话和文件中。
如果你在寻找豆包手机助手式体验的开源替代方案,Helix 正在探索这条路:以 Mobile Use 插件为核心场景,把手机操作、网页和文件工作流交给你选择的模型。Helix 是独立的 Apache-2.0 开源项目,与豆包及其开发方没有官方关联;不依赖 OEM 预装集成,也不宣称具备相同的系统权限或全部能力。
开发预览阶段,需要 Android 10+,不承诺保留旧数据。 当前发布包使用 debug 签名。数据库结构不兼容时,启动会要求确认清空数据库中的会话、任务、配置和授权记录;取消会保留旧数据并退出,确认后才重建,数据库外文件保留;重要内容请另行保存,诊断导出不是可恢复的全量备份。
main中的新功能不一定已包含在发布 APK 中。
| 能力 | 使用方式 |
|---|---|
| 手机操作 · Mobile Use | 观察屏幕、查找元素、点击、滚动和输入;根据可用能力使用无障碍、Shizuku 或 Root |
| 文件与成果 | 独立文件管理器;读取、整理、创建和修改已授权文件,预览、定位和分享结果 |
| 本机知识库 | 从系统分享到 Helix 收集文字、链接、图片/文件,保存原件与来源,搜索并将所选资料引用到聊天 |
| 网页与工具 | 浏览网页、收集资料、调用工具;Developer 构建还包含进阶终端与运行环境 |
| 会话与项目 | 围绕同一项目组织会话、文件、指令和记忆;执行中可排队、调整或停止任务 |
| 模型选择 | API 服务、自建兼容服务和设备内模型;Developer 额外提供实验性第三方订阅接入 |
| 插件 | 通过插件、技能和连接器组织能力,支持 MCP;按会话选择需要的插件 |
这些能力的完成质量取决于模型、设备、授权和目标应用。当前不是 OEM 系统镜像,也不承诺兼容所有应用、网站或文件格式。实际交付与验证范围见当前状态。
- 让模型操作手机:在你授权的应用中查找内容、填写信息、完成多步操作;你可以观察过程并随时追加要求。
- 把网页信息变成成果:浏览公开页面、对照资料,把结论整理到文件中,随后预览或分享。
- 带着上下文继续工作:会话、项目目录和可选记忆保留任务线索;接入自己的 API 或设备内模型,按任务选择插件。
Mobile Use 是可选插件,浏览器、文件和工具各有自己的授权边界。涉及账号、付费或重要外部操作时,请按实际任务检查范围与结果。
本节描述当前源码;实际发布能力以对应 Release 为准,历史设备证据不代表当前候选已通过验证。
在其他应用的 Android 系统分享中选择“收集到 Helix”(进阶版为“收集到 Helix Advanced”),材料先进入本机来源库,不自动当作已经确认的知识,也不自动发送模型。可从侧栏知识库查看原文/原件、提取状态并搜索。微信内部转发不一定提供系统分享,可复制文字/链接或先保存文件后分享。
知识库区分知识、笔记与资料:可以手写笔记或知识,将已保存笔记整理成可编辑候选后明确保存为独立知识;原笔记和资料保留。问答使用现有会话,从输入框+菜单或资料阅读页选取引用;发送时固定所选内容,之后来源变化不改写已发送引用。引用内容仍遵守所选模型的披露与外发确认,不将全库自动发送给模型,也不要求清空来源库。
公开链接可尝试提取,登录页面、仅标题、访问失败或不支持的文件会明确标不完整;不绕过登录。图片保留原件,需识别时沿现有会话视觉读取与授权,不承诺本地 OCR。知识库不是人格记忆。现行契约见本机知识库 ADR,实施与未验证边界见会话融合记录。
侧栏“工作 → 备忘与提醒”可创建无定时的备忘,或确认实际日期、固定时区与一次/日/周/月重复后保存提醒。到点只提交系统通知,不调用模型;点击通知回到条目。编辑替换旧闹钟,完成或取消停止整条重复。无精确闹钟权限时使用近似提醒,通知或渠道关闭时无法显示;省电可能延迟,强停后需重新打开。超过 15 分钟的旧发生项记为错过,不批量补发。当前范围见 HXA-309。
提醒页的独立“定时 Agent 分析与检索”入口可明确选择已有结果会话,核对任务、模型目标、工作区和固定时区后保存/启用。首版仅只读 PLAN;现有会话上下文和读取结果可能发送至所选云端模型,本地保存规则不等于本地推理。最大运行时长逐规则确认(初始 120 秒,可调整),到期请求停止并等待实际退出;Android 可能更早中断。每次模型请求最多输出 2048 token;WorkManager 近似唤醒,超出 15 分钟记错过,不补跑。暂停未来与停止当前分开,失败/中断/未知不会自动重试;明确重试仍须核对原范围与未决效果。见 HXA-314。
- 从 Releases 下载 APK,按 Android 提示安装。版本说明和 APK 校验值以对应发布页正文为准。
- 当前源码会在对话模型选择中动态获取 Helix 内置模型目录,现需在设置或对话选模中登录 Helix 账号,无需填写 API Key;目录列出不代表推理连接已通过。它使用项目云端服务,账号权限与额度由服务端管理,消息、上下文、工具结果及所选图片会发送至服务端。未登录时仅可在模型中配置自己的 API、订阅或下载本地模型;已有选择不会覆盖。此前公开标识阶段已验证内置文字、图片和有界文件任务,当前账号验证另行记录;服务实时状态仍以实际请求为准。内置服务的历史验收范围见HXA-307,当前账号契约与验证见账号接入记录。
- 新建会话并选择模型,从一个简单文件任务开始:
帮我整理明天的待办:上午十点开会,下午寄快递,晚上买牛奶。
按上午、下午、晚上分组,保存为“明日待办.md”。
不要补充我没说过的时间。保存后读回文件,确认内容一致。
- 查看执行状态并打开生成文件,核对结果。再尝试整理 CSV、汇总网页或操作测试应用。
消息点按后可复制完整原文;会话顶部的“会话详情”提供 JSONL 结构化导出。交付文件时,在“文件管理器”或“全部成果”的文件详情选择“分享文件”;任务结果详情可“分享任务结果”。分享使用系统选择器,不生成云端会话链接。
网络模型可能产生服务方费用;本地模型需要额外下载权重并占用内存和存储。没有配置好的模型时,需要先完成模型设置。
在插件中配置 Mobile Use,连接至少一个可用的屏幕操作后端,再在会话中选用。缺少配置或连接时,点击勾选会进入对应设置,完成后再明确勾选。无障碍、Shizuku、Root 等系统授权由 Helix 统一管理,插件使用宿主已获得的能力。无需同时获得全部权限;具体动作仍需满足相应条件。
支持的操作按实际就绪能力优先使用 Root → Shizuku → 无障碍。不同后端的能力并不完全相同,高权限也不能保证读取或操作所有安全窗口。遇到不确定结果时应先核查,不盲目重复可能已经完成的操作。
| 构建渠道 | 包含的能力 |
|---|---|
| Standard / consumer | 完整基础产品:会话、API/本地模型及渠道允许的工具;不包含第三方订阅 Runtime 和 PRoot 终端 |
| Advanced / developer | 在基础产品上增加平台或渠道允许的进阶能力,包括订阅适配、终端和内置 Linux 运行环境;适合开发与进阶体验 |
安装包渠道与会话权限模式是不同概念。第三方订阅适配需要对应账号权益,兼容性逐服务验证,不代表服务提供商官方授权。使用 API 地址与 Key 的套餐仍属于 API 配置。
从 GitHub Releases 选择 Standard 或 Advanced ARM64 安装包,列表包含开发预览版。安装前请阅读对应版本的系统要求、签名、校验值、升级数据影响与验证边界;预览版不是稳定正式版或商店生产签名版本。
不兼容的旧预览主库可能需要明确确认后不可恢复地重建;卸载会删除应用本地数据,共享文档可能需要重新授权。请另行保存重要内容,并按所选版本说明操作。内置模型需登录,未登录仍可使用自配 API、渠道允许的订阅和本地模型。离线语音权重按需下载。
- 本机执行不等于数据完全离线。 使用远程模型时,对话和任务所需的文件片段、工具结果或图像可能发送给所选模型服务。
- 设备内对话模型在本地推理,但下载、网页和联网工具仍可能访问网络;对话模型权重不随 APK 提供。
- 登录后默认使用线上语音;离线 ASR/TTS 可显式按需下载,权重不随 APK 打包。首次线上语音使用仍需确认。转写进入输入框草稿,不自动发送;取消保留原草稿。
- 回复支持朗读和停止;停止朗读不停止 Agent 任务。离线朗读在本机进行,选择线上服务时由该服务处理文字。
- 笔记、知识与导入资料保存在共享
Documents/Helix/library/;账号凭据、Agent 记忆与会话等内部数据仍为私有。 - 系统权限与工具授权分别管理。按需开放访问范围,并查看实际执行状态;模型说“完成”不等于操作已被验证。
- 停止任务不会撤销已经发生的外部操作。首次体验请使用测试资料或副本。
准备 JDK 17、Android SDK 和 Python 3,按照开发环境说明配置 SDK/NDK 与依赖。版本以仓库锁定配置为准。
git clone https://github.com/dollarser/helix-agent.git
cd helix-agent
python3 scripts/build-asr-assets.py # pinned offline ASR inputs; host only
python3 scripts/build-tts-assets.py # pinned ASR+Melo JNI and test resources; host only
./gradlew :app:assembleConsumerDebug
# 需要进阶构建时:
./gradlew :app:assembleDeveloperDebugAPK 位于 app/build/outputs/apk/。主机源码门禁为 ./scripts/check-all.sh --source;构建成功不等于设备、真实模型或正式发行验收通过。贡献流程与测试要求见贡献指南。
- 当前进展与已知限制 · 路线索引
- 架构 · 设计决策 · 完整文档
- 开发 Agent Skills:仓库内的验收收尾与契约审查流程,与手机内的插件 Skill 分开。
- 报告问题或提出建议:附版本、构建渠道、Android/设备信息、模型和复现步骤;请先移除密钥、凭据与私人内容。
- 作者:dollarser,欢迎社区参与改进。
Helix 自有源码采用 Apache License 2.0。第三方库、运行时资产、命令行工具和模型权重遵循各自许可证,不因被 Helix 使用而改为 Apache-2.0。
第三方组件说明及发布核对要求见 THIRD_PARTY_NOTICES.md。该文件目前是部分归属清单与核对规则,不代表完整发行 SBOM 或所有分发义务均已完成。