首页 > 教程资讯 > 教程详情

Opposable 让安卓手机本地模型操作 App,骁龙 NPU 加速屏幕识别

AI 与前沿 数码评测汪工 2026-10-22
文章分享

安卓应用 Opposable 在官方博客中介绍了让 AI 操作手机的端侧方案:通过无障碍服务读取屏幕,在其他 App 中点按和输入。电脑上的 Claude、ChatGPT 或 Codex 可以驱动它;未连接这些助手时,手机上的 20 亿参数屏幕模型会执行同样的流程,无需服务器参与。

常见任务直接执行,复杂操作交给模型

据发布方介绍,本地模型采用阿里巴巴 Mobile-Agent 团队的 GUI-Owl 1.5 2B,由 Qwen3-VL 微调而来,根据截图输出一个动作。应用通过 llama.cpp 以 4 位量化运行模型,语言模型占用 1.05 GB,视觉编码器占用 445 MB,两者加载后会在步骤之间驻留内存。

并非每次操作都需要模型。设置闹钟、向联系人发短信、打开 Wi-Fi 等约 40 个常见任务,由固定代码完成,不调用模型。

CPU 优化与 NPU 加速分别测量

发布方自测显示,在使用 4 个线程的 Mac M2 CPU 上,每步耗时由未优化时的 10.6 秒降至 7.3 秒;在包含 36 个屏幕的测试集中,优化前后均答对 27 个。

优化包括裁掉截图中的状态栏、导航栏和键盘,移除不与内容相邻的平坦背景图像 token,并缓存包含 900 个 token 的系统提示词的 KV cache。其中,背景处理可减少 25% 至 40% 的图像 token,同时保留剩余 token 原有的网格位置。

视觉编码器还单独测试了 NPU 路径。博客披露,经 Qualcomm AI Hub 编译并在高通设备实验室的 Galaxy S25(骁龙 8 Elite)上运行,fp16 编码器耗时 236 毫秒,873 个算子全部在 NPU 上执行,相比该项对照中的 M2 CPU 耗时 3.9 秒,速度约为其 16 倍。这是视觉编码阶段的数据,并非完整操作步骤的耗时。

发布方称,8 位权重搭配 16 位激活可将耗时降至 213 毫秒,但输出与参考结果的余弦相似度低于 fp16,因此应用采用 fp16。NPU 首次加载需 72 秒,用于准备计算图,此后加载耗时为 0.39 秒。

拆分子目标提高测试成功次数

在发布方的另一项测试中,模型对 8 个未经针对性调优的任务,在安卓模拟器上各运行两轮。直接接收完整任务时,两轮分别成功 4 次和 3 次;每次只接收一个子目标,并通过无障碍树核对完成情况后,两轮均成功 6 次。

目前只有骁龙提供 NPU 版本,Tensor、联发科和 Exynos 手机会回退到 GPU 或 CPU。作者也表示,本地模型在未见过的 App 上远弱于云端模型,连接了 Claude、ChatGPT 或 Codex 时,这类任务会交给它们。

Opposable 可在官网免费下载,屏幕模型需在应用设置中另行下载,大小为 1.5 GB。

来源