首页 > 教程资讯 > 教程详情

Mecum 开源:让 agent 在 Mac 上操作没有 API 的桌面应用

AI 与前沿 编辑部小鹿 2026-10-09
文章分享

Forte Audio S.r.l. 以 Apache 2.0 许可开源了 Mac 应用 Mecum,版权标注为 2026 年。项目 README 称,Mecum 在 Mac 上为 agent 提供桌面工作区:用户可以在应用里给 worker 布置任务,也可以通过 MCP 接入 Claude Code 或 Codex,去操作既没有 API、也不提供无障碍(AX)树的桌面应用,同时自己继续使用这台 Mac。

怎么开始用

README 写明,Mecum 需要 macOS 15 及以上,支持 Apple 芯片和 Intel。从源码构建需要 Swift 6.4。安装并打开应用后,用户创建一个 worker,接上支持的模型,并授予桌面操作所需的 Mac 权限。README 建议第一个任务是让 agent 读取并总结一个已打开的 TextEdit 测试文档,不编辑、也不保存。

若使用 Claude Code 或 Codex,README 要求客户端与 Mecum 跑在同一台 Mac 上。应用自带 STDIO bridge,不需要另装 Node.js 或 Python。用户在「MCP → MCP Connections…」里添加客户端,打开 Enabled 并等到 Ready,再复制应用生成的 Claude Code 或 Codex 命令。每条连接只接受一个活跃客户端;只提供 URL 的网页连接器无法使用这条本地桥。README 还称,并非每个客户端都做过端到端测试。

窗口如何交给 agent

README 把实现分成几块。Driver 用 Swift 写成,把应用窗口移到虚拟显示器,并把 agent 的输入导向那里,因此不需要虚拟机。Perception 把当前界面转成结构化文本,并在窗口变化时刷新。Brain 为每个应用建立控件、关系和跳转的地图。Memory 记录过往操作和结果,供后续任务调用;README 称这一模块仍在开发中,召回可能不稳定。

Driver、Perception 和 Engine 以 Swift package 形式提供,可被其他 macOS 应用使用。每次操作后,Mecum 会检查界面变化;用户可以在应用里查看过程、核对结果并停止 worker。多个 worker 轮流控制桌面应用,一个工作时其余排队等待。

窗口转文本的流程在本地运行。README 同时说明,远程模型可能收到窗口文本、任务上下文和相关应用知识。

目前支持哪些框架

README 称,目前支持 AppKit、Chromium、Electron 和 Qt;Adobe 应用所用的 UXP 仍在开发中。项目也在征求 Qt 驱动覆盖、UXP 与 Flutter 支持,以及 Perception 控件、Brain 和 Memory 方面的反馈。

发布方的驱动对比

README 的驱动对比为 8 次运行、另有 1 次预热,计时包含动作和更新后的视图。测试硬件为 MacBook Pro M4 基础款、16 GB 内存,系统版本写为 macOS 27.0.1(26A434)。表中 DaVinci Resolve(Qt + GPU UI)和 Prism Launcher(Qt 6)为 Mecum Supported、Cua Not supported;Stocks(Mac Catalyst)为 Mecum Unavailable、Cua Supported。同表里,TextEdit(AppKit)与 Chrome(Chromium)为 Mecum Partial、Cua Supported;Obsidian(Electron)与 Calculator(SwiftUI)双方均为 Supported。

发布方自测的 token

README 称,Mecum 的完整场景响应所用估算 token 比 Cua 的「截图 + AX 树」响应少 85% 到 97%。对照的是工具响应里的估算 token,不是一次任务在模型侧消耗的总 token。

发布方自测表中,TextEdit 完整读取 Mecum 为 385、Cua 为 6,185;DaVinci Resolve 完整读取 Mecum 为 764、Cua 为 17,924。界面无变化时,Mecum 发送简短确认,表中约 38 至 100 个估算 token;README 称此时 Cua 会重发完整视图。以上数字均来自项目 README 的自测说明。

来源