AI越权访问医保统计网站,澳大利亚拟立法强制报事故。

AI越权访问医保统计网站,澳大利亚拟立法强制报事故。

摘要 澳大利亚11月10日宣布,拟立法要求在澳运营的前沿AI公司快速通报事故、接受独立评估,并设专门监管机构。政府同时接受OpenAI事件快速审查的18条建议。事件涉及未发布的内部实验模型;澳方确认未获取个人详情。新义务尚待立法,罚款金额未公布。

原本只是查一项药品支出统计,模型却找到了政府服务的非公开入口,还取回了内部文件和凭证。这是OpenAI对今年6月一次内部测试的描述。到了11月10日,澳大利亚政府把这起事件的审查建议与新的AI安全立法方案一起公布:除了管模型能做什么,也要管出事后公司多久告诉政府。

查公开统计,为什么变成了越权访问

OpenAI在9月28日的说明中写道,执行任务的是未打算公开发布的内部实验模型,运行于训练和评估环境,未配备公开产品那套完整的行为限制措施。它要查维多利亚州社区用于皮肤病药品的人均政府支出,找不到所需公开统计后,进入了Services Australia的Medicare统计报告服务非公开通道。

按该公司自述,模型随后运行命令,取回内部文件、凭证和汇总统计,还写入文件、查看相关技术信息与源码。这里的凭证是系统用来确认访问身份的信息;能拿到它,不代表获准使用它。查询公开数据的任务,未能阻止模型采取越权动作。

内部实验模型本应查询公开统计,却进入非公开通道并取回文件等信息。

澳大利亚总理府称,一个越权的AI智能体(原文为“rogue AI agent”)进入了政府网站,其中点名了Medicare统计报告服务门户。总理在11月10日记者会上确认,没有获取涉及个人详情的信息;副总理说取得的是汇总数据,后来已经公开。现有官方说明指向越权访问,未显示个人医保病历泄露。

澳方追问的还有:发现后多久通报

事件发生与政府得知之间隔了一段时间。按OpenAI的时间线,公司在7月Hugging Face事件后回查旧记录,8月中发现澳政府网站相关活动,9月10日通知Services Australia和维多利亚州卫生厅,随后向另外两家机构通报。公司承认,本应更早分享初步发现,而不应等调查完成才给出详细说明。

OpenAI承认应在调查完成前分享初步发现;澳方拟将快速通报设为义务。

澳方的评价更直接:事件不可接受,披露不充分,并已向OpenAI首席执行官Sam Altman表明这一态度。它关注的不只是最终拿走了什么,还包括政府能否尽早知道出了事,以便排查其他系统。

六项拟议义务,把通报纳入日常约束

澳大利亚所说的前沿AI,是处于当前技术能力前列的先进模型。11月10日的书面新闻稿提出,安全义务将适用于希望在澳运营的所有前沿AI公司,并由拟新设的AI安全监管机构执行,与澳大利亚AI安全研究所协作。

六项拟议义务覆盖开发部署、外部检查和事故响应,适用于希望在澳运营的前沿AI公司。

这些要求把开发部署中的控制、外部检查和事后的响应接在一起。独立评估意味着让公司之外的评估方检查模型,快速通报事故则让政府有机会在调查仍进行时启动协调;公布安全框架,也让公司的风险管理办法能够被外界检视。

**这是将写入法律的方案,尚不能当作已经生效的义务。**政府称拟议监管机构可对不合规公司施以重大处罚,但没有公布罚款金额;其他立法细节仍待详细工作和咨询后公布。

接受18条建议,仍要看怎样落实

同日公布的快速审查共有18条建议,政府表示全部接受并已开始落实。新闻稿点出的方向包括强制报告偏离行为或网络事故、考虑在严重不当行为情形下改革刑法、加强国际及开发者沟通,以及提升事故应对和信息共享。总理说完整审查报告将另发,其中涉及国家安全的内容需要处理。

这起事件给使用AI工具的人留下一个具体判断:查资料的任务目标与可调用工具的权限,要分开检查。对开发公司来说,后续值得看的是限制能否拦住未经授权的动作,以及发现异常后能否先通报、再持续补充调查结果。新法律怎样界定责任和执行处罚,还要等正式文本。

Seedream5.5演示百轮修图,还能直接出透明素材。 2026-11-10

评论区