摘要 Google把电脑操作加入Mac版Gemini:它在独立窗口里点击、输入、跨应用办事,用户仍能使用自己的屏幕和光标。功能正面向美国英语环境的Plus、Pro、Ultra成年个人用户滚动开放。按应用授权和敏感操作确认保留了控制点,但已登录账号、跨应用提示注入和无法撤销的改动仍有风险。
从几份PDF里找出包裹的重量、尺寸和地址,再一项项填进运费报价表,麻烦往往在来回切窗口。Google这次给Mac版Gemini加的电脑操作,就把这类工作列为官方用例:让AI接着完成点击、输入和填表,人还能继续用自己的电脑。操作画面分开以后,应用里的账号和文件仍会被用到,权限怎样跟着任务走也得看清。
Gemini另开一块虚拟屏幕,点击不抢你的光标
北京时间11月20日01:00,Google宣布在Mac版Gemini中推出电脑操作,随后按账号滚动开放。 这是公告发布时间,不表示所有符合条件的用户都在整点拿到了入口。功能覆盖本地文件、桌面应用和网页:Gemini可以点按钮、输入文字、滚动页面和翻菜单,把几步操作串起来。
它把代操作的工作移到虚拟屏幕,也就是给AI单独使用的操作画面。聊天里有实时预览,可以放大查看,也能用“Stop task”停止任务;主屏幕与光标留给用户继续打字、设计或开会。这解释了独立窗口解决的具体问题:人和AI不必轮流等同一只鼠标。

以官方的运费报价用例看,一部分工作是从PDF提取信息,另一部分是到表单里找对输入框并填入,两者跨过了文件和应用界面。Google还列出批量给照片调色、整理仪表盘数据做演示文稿、根据衣服照片准备二手商品刊登等用法;这些是展示场景,不能据此推定每个软件和每次任务都能顺利完成。
同一个Task入口,免费任务和电脑操作门槛不同
使用时,在Mac版Gemini里点“Task”,在请求中写上@Computer use,再描述要做什么。这里的Task是让Gemini持续执行多步工作的任务入口;此前Mac任务已能处理用户加入“Connected folders”的文件,并配合已连接应用工作。这次增加了直接操作桌面应用界面的能力,不能把文件任务的授权范围直接套给电脑操作。
11月17日,Google宣布普通Tasks在美国、印度、加拿大、澳大利亚、日本和韩国向免费用户滚动开放;11月19日的电脑操作更新仍要求Google AI Plus、Pro或Ultra订阅。入口相同,不代表每项能力都免费。 电脑操作目前还限美国、英语、18岁及以上的个人Google账号,工作或学校账号不在这项能力的开放范围。

硬件要Apple芯片Mac,系统为macOS Sequoia 15.0或更新。8GB内存、200MB安装空间和稳定网络,是Mac版Gemini应用的通用要求,不是这次电脑操作另加的一套配置。官方建议选Hydrogen 4或更新模型以获得更好效果,这属于效果建议,不是另一个账号开通门槛。中国内地不在此次开放地区内;即使有Mac和付费套餐,也仍需符合地区、语言等条件,以账号实际可用为准。
允许打开应用,不等于敏感操作都不再问
开始前,要在Settings里的“Computer use”打开“Allow Gemini to work with your Mac”,并授予macOS的“Accessibility”(辅助功能)和“Screen & System Audio Recording”(屏幕与系统录音)权限。前者让它能操作界面,后者支持读取屏幕内容;应用层还会继续限制它能使用哪些软件。
设置中有“Allowed apps”和“Blocked apps”两个列表。首次要用某个应用时,Gemini会询问是否拒绝、允许或始终允许;选“Always allow”会把应用加入允许列表,之后不用反复确认能否使用这个应用,直到从列表移除。但敏感任务仍会要求确认,更新日志也明确说,遇到登录或付款会暂停。

通用任务权限页把“Allow/Allow once”解释为只批准当前这一步,不改变长期设置;“Allow for this chat”则只在当前线程有效,而且只适用于已连接的Google产品,不能当成所有Mac应用都有的按钮。该页还说明,系统设计上会在删除Google应用数据、发送消息或邮件,以及付款、分享敏感信息等任务前请用户确认。这里描述的是防护设计,不能承诺它每一次都判断正确。
对于第一次交给AI操作的应用,建议先选单次允许,观察任务要接触的内容,再决定是否长期放行。这是使用上的建议,并非Google规定必须这样选。
独立窗口里,仍可能用到你已登录的账号
独立窗口分开了操作画面,没有抹掉应用里的账号和数据。 Google的电脑操作帮助页专门提醒:Gemini可能使用原生Mac应用中的已登录会话,也能读取或操作桌面、消息应用里可见的多因素认证提示或验证码。多因素认证就是登录时额外核验身份的步骤;验证码出现在它能看的界面上,就不能只按“它不知道密码”来判断风险。
另一个问题是提示注入:屏幕上本来供它阅读的不可信内容,诱导它改变任务。官方点名了跨应用的情况,一个应用里的内容可能把Gemini引向另一个已获授权的应用继续操作。两个应用各自都被允许打开,仍不代表从前者读到的要求就值得在后者执行;允许列表限制了可去的地方,任务中读到什么仍会影响它怎么走。
授权对象的能力也不一样。代码编辑器、文本编辑器或开发工具,可能让Gemini执行shell命令,也就是通过命令行操作系统,或扩大文件系统改动范围。信息还可能被分享到桌面应用,不能只盯浏览器网页;自动化某些第三方软件也可能与其服务条款冲突,用户需要自行选择适合交给它操作的应用。这些都是Google列出的可能风险,不能把后台运行理解成可以脱离监督。
备份会过期,也可能根本没有备上
设置里的“Use on-demand file backups”可让Gemini在工作时尝试创建临时备份,但官方明确说它并不总能做到。应用设置和权限会影响哪些内容能备份,有些操作本身也无法撤销。对应聊天中可通过“View backups”查看已有备份,不能因为开了开关就假定每次修改都有退路。

备份保留24小时,或到下一条提示为止,以先到者为准;因此上一项任务做完后,先检查改动和可用备份,再继续发下一条请求,比事后才想起恢复更有意义。此前Connected folders文件任务的帮助页也有新查询、新任务或24小时后删除备份的规则,并提醒删除后的文件可能无法找回。
回到那张报价表,独立窗口能让人不用停下手里的工作,却不能替人确认填入的信息、收件方和提交结果。对第一次尝试的用户,更合适的起点是可检查的文件副本和少量应用;对做桌面Agent的开发者,这次设计可借鉴的是把并行操作、应用授权和敏感动作确认分别处理。备份只能再添一层帮助,不能拿来抵消一次不可撤销的操作。