ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

为什么 Codex 操作我的电脑时,我还能继续工作,而 Claude 一接管,我就几乎什么也干不了?

为什么 Codex 操作我的电脑时,我还能继续工作,而 Claude 一接管,我就几乎什么也干不了?

一台 Mac,两只鼠标:AI 开始在后台替你工作了

想象这样一个场景:

你正在电脑上写文档,鼠标掌握在自己手里。

与此同时,一个 AI 正在后台打开浏览器、查找资料、填写表格、操作测试软件,甚至同时处理多个任务。

它不会突然抢走你的鼠标,不会把窗口切到最前面,也不会在你打字时把内容输入到另一个软件里。

你做你的事,AI 做 AI 的事。

Bridge 团队发表了一篇技术文章,拆解了 macOS 上一种很有意思的能力:让用户和 AI 同时操作一台电脑。

演示画面中,屏幕上甚至出现了两个鼠标光标:一个属于用户,另一个由 AI 控制。

看起来像是一台电脑突然变成了“双人模式”。

但真正重要的,并不是第二个鼠标。

而是 AI 终于可以在后台工作了。

图像

一、过去的 AI,为什么总喜欢“抢电脑”? 目前大多数“AI 操作电脑”产品,本质上都在模仿人类。

它们会:

识别屏幕上的按钮; 移动鼠标; 点击窗口; 输入文字; 切换应用; 根据画面变化决定下一步操作。 这种方案简单直接,却有一个很大的问题:

AI 和用户共享同一套鼠标、键盘和前台窗口。

当 AI 开始工作,你往往只能看着。

它打开浏览器,你正在写的文档就会被切到后台;它往输入框里打字,你不能同时使用键盘;它移动鼠标时,你最好也不要碰鼠标,否则双方可能互相干扰。

这就像公司给你安排了一名助理,却只给你们两个人配了一张办公桌、一套键盘和一只鼠标。

助理工作的时候,你只能让开。

这显然不是真正意义上的“智能同事”。

OpenAI 在2026年4月发布 Codex 更新时,就重点介绍了“后台计算机使用”能力:多个智能体可以在 Mac 上执行操作,同时尽量不干扰用户正在进行的工作。OpenAI 官方介绍

问题在于:一台 Mac 明明只有一个真正的系统鼠标,AI 是怎么在后台点击另一个窗口的?

二、屏幕上的第二只鼠标,其实只是“视觉效果” Bridge 团队在文章中指出,演示中的浮动光标更多是一种视觉反馈。

它的作用,是让用户知道 AI 正在什么位置操作。

从技术上讲,系统并不需要真的创建第二只物理鼠标,也不需要让它和用户的鼠标争夺控制权。

真正需要解决的是三个问题:

AI 如何看懂后台窗口? AI 如何把点击和键盘输入发送给指定软件? 如何让后台软件接受操作,却又不跳到用户面前? 这三个问题,分别对应 macOS 中的三层能力。

三、第一层:AI 不一定要“看屏幕”,也可以直接读取软件结构 很多人以为,AI 操作电脑必须不断截图,然后判断按钮在哪里。

但 macOS 本身提供了一套辅助功能接口,也就是 Accessibility API。

它原本是为了帮助残障用户操作电脑,但同样可以让获得授权的软件读取界面结构。

通过这套接口,AI 可以知道:

当前运行着哪些软件; 软件中有哪些窗口; 窗口里有哪些按钮和输入框; 每个控件的位置、名称和当前内容; 某个按钮是否可以点击。 对于备忘录、Finder、系统设置等原生应用,AI 有时根本不需要移动鼠标。

它可以直接找到对应按钮,然后调用“按下”;找到输入框,然后直接设置内容。

整个过程都可以在后台完成。

用户甚至看不到鼠标移动。

不过,这套方式并不是万能的。

Chrome、Electron 应用以及一些自定义界面,在后台状态下可能无法提供完整的界面信息;部分按钮也无法通过辅助功能接口稳定触发。

这时,AI 仍然需要模拟真正的鼠标和键盘操作。

四、第二层:不移动真实鼠标,也能把点击送进指定软件 普通鼠标点击一般会先进入系统,再由系统分发给当前窗口。

这也是传统自动化工具容易抢占用户鼠标的原因。

Bridge 文章介绍了另一种方式:利用 macOS 的 CGEvent.postToPid,把鼠标或键盘事件直接发送给指定进程。

可以把它理解成:

普通点击像是在办公室里大声喊:“谁来处理一下这个操作?”

而 postToPid 更像是把文件直接递到某位同事的桌上。

AI 可以明确告诉系统:

这次点击属于哪个软件; 应该发送到哪个窗口; 点击位置在哪里; 这是按下还是松开; 后续键盘输入应该交给谁。 这样一来,AI 操作后台浏览器时,就不必移动用户真正的鼠标。

用户仍然可以在前台正常工作。

五、最难的一步:让后台窗口以为自己正在前台 事情到这里还没有结束。

虽然系统可以把点击发送给后台软件,但很多软件收到点击后,会先检查自己是不是当前活动窗口。

如果不是,它可能直接忽略这次操作。

Chrome 和 Electron 应用尤其麻烦:当窗口不在前台时,它们不仅可能拒绝点击,甚至不会暴露完整的界面结构。

图像

所以,整个方案最巧妙的地方来了:

让后台窗口在软件内部认为自己已经被激活,但视觉上仍然留在后台。

Bridge 团队采用的思路,大致可以分成四步:

监听前台软件和目标软件之间的焦点切换消息; 向后台窗口发送一次“准备激活”的事件; 再向窗口中心发送一次不会触发实际功能的点击; 允许目标软件完成内部激活,同时阻止系统真的把它切到最前面。 结果是:

后台软件认为自己已经可以正常接收点击和输入,但用户正在使用的窗口并没有消失。

就像 AI 悄悄走进一间办公室开始工作,却没有把正在里面办公的人赶出去。

六、两个鼠标背后,是两套彼此独立的工作流 理解这一点之后,就会发现“两个鼠标”并不是简单的界面特效。

它代表着一种新的电脑使用方式:

用户拥有一条前台操作通道; AI 拥有一条后台操作通道; 双方可以同时使用不同的软件; AI 的操作不需要持续打断用户。 未来甚至可能不是两个操作者,而是更多。

一个智能体在浏览器里查资料,一个智能体在设计软件里调整页面,另一个智能体在测试应用,同时用户继续回复消息、开会或者写方案。

一台电脑,可能会逐渐变成多名 AI 员工共享的工作空间。

这才是“后台电脑操作”真正有价值的地方。

七、软件正在从“人类工具”变成“智能体工具” 过去,我们评价一款软件是否好用,主要看它对人类是否友好:

按钮是否清楚,菜单是否容易找到,操作步骤是否足够简单。

进入智能体时代后,软件可能还需要面对另一类用户:AI。

AI 不一定需要漂亮的按钮,但它需要:

清晰的界面结构; 稳定的辅助功能信息; 可预测的交互结果; 明确的权限边界; 能够在后台完成操作的能力。 如果软件拥有完善的 API,AI 可以直接调用 API。

如果没有 API,AI 就只能像人一样操作界面。

因此,Computer Use 的意义并不是取代 API,而是补齐现实世界中的最后一公里:

即使一个软件没有为 AI 提供接口,AI 仍然能够尝试完成任务。

八、这项能力还没有完全成熟 Bridge 团队也在原文中提到,这套方案依赖 macOS 窗口系统中非常底层的行为,其中一些机制没有被完整公开,甚至可能利用了特定的系统表现。

它仍然面临不少问题:

不同软件的兼容性并不一致; 系统升级后,底层行为可能变化; 某些后台窗口仍然无法稳定接收操作; 多个智能体同时工作时,可能出现资源或状态冲突; AI 获得辅助功能权限后,需要更严格的授权和操作记录。 Bridge 已经将相关实现整理为开源项目 kwwk-computer-use-core,其中包含后台窗口读取、鼠标点击、键盘输入和窗口管理等核心能力。查看开源项目

这个项目目前要求 macOS 14 及以上系统,并需要获得辅助功能权限。

所以,它更像是一条已经被验证可行的技术路线,而不是所有 Mac 应用都能立即享受的标准能力。

九、真正的变化,是 AI 不再要求你停下手中的工作 过去,人们讨论 AI 操作电脑时,关注点通常是:

“AI 能不能像人一样点击按钮?”

但更重要的问题其实是:

AI 工作的时候,人还能不能继续使用这台电脑?

如果答案是否定的,那么 AI 仍然只是一套需要人类让出工作空间的自动化工具。

只有当 AI 能在后台理解窗口、接收任务、操作软件,并且不打断用户时,它才开始真正接近“电脑里的同事”。

第二只鼠标只是一个容易被看见的符号。

它真正代表的是:在同一台电脑上,人类和 AI 第一次有机会拥有彼此独立的工作空间。

未来,我们可能不会再说“我正在使用这台电脑”。

而会说:

我和几个 AI,正在共同使用这台电脑。

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进