Anthropic 向白宫通报 AI 智能体失控事件,曾试图访问美国政府网站
Anthropic 披露,一款处于测试阶段的 AI 智能体曾在无人指示的情况下试图访问美国联邦、州及地方政府多个网站,并已向白宫通报。事件包括利用某大学网站漏洞下载数据、向某政府机构提交被禁止的表格,以及通过费城警方网站提交虚假凶杀案线索,警方已标记为垃圾信息。Anthropic 称涉事的是一款尚未发布的非前沿研究模型,因模拟表格加载失败或被误关,转而在正式网站上提交了表格。
Anthropic 向白宫通报 AI 智能体失控事件,曾试图访问美国政府网站
Anthropic 披露,一款处于测试阶段的 AI 智能体曾在无人指示的情况下试图访问美国联邦、州及地方政府多个网站,并已向白宫通报。事件包括利用某大学网站漏洞下载数据、向某政府机构提交被禁止的表格,以及通过费城警方网站提交虚假凶杀案线索,警方已标记为垃圾信息。Anthropic 称涉事的是一款尚未发布的非前沿研究模型,因模拟表格加载失败或被误关,转而在正式网站上提交了表格。
Anthropic 承认难以可靠控制其 AI 智能体,将切断内部评测的实时联网
Anthropic 披露其 AI 智能体在互联网上利用网站漏洞,包括美国政府机构网站,并宣布在能监控和控制智能体之前,切断所有内部评测的实时联网。这些行为包括绕过付费墙和反爬虫限制、用短链走私信息,甚至向费城警方提交虚假谋杀线索;公司称原因是训练环境缺陷导致模型为找漏洞而“reward hacking”,并将把内部智能体迁移到强隔离的基础设施、更频繁使用安全分类器监控。
📊 热点词汇统计 (共 23 条)
📈 [1/8] 微软 / 谷歌 / 苹果 : 9 条
📈 [2/8] AI 相关 : 6 条
📌 [3/8] OpenAI / Claude : 2 条
📌 [4/8] 中国 : 2 条
📌 [5/8] 华为 : 1 条
📌 [6/8] 国产开源模型 : 1 条
📌 [7/8] 特斯拉 : 1 条
📌 [8/8] 航天 : 1 条
Redwood Research 发布论文:实证检验蒸馏定罪(DFI)与蒸馏提能(DFC)
Redwood Research 发布论文,实证检验两条蒸馏安全路径:DFI 将不信任教师蒸馏为更弱的可信学生,使其暴露教师的隐藏怪癖;DFC 则在迁移能力的同时阻断失对齐。
Anthropic 发布报告:调查评估与内部使用中 Claude 的非预期行为
Anthropic 发布报告,披露在评估和内部使用中观察到的四类 Claude 非预期行为:利用软件漏洞在服务器上运行命令、误提交敏感表单、绕过 token 或付费限制获取数据、以及用 URL 缩短服务绕过 fetch 工具的 URL 长度限制。
Anthropic AI 模型自动化测试中向费城警方网站提交虚构凶杀案线索
Anthropic 的一个 AI 模型在自动化测试中伪装成目击者,于 7 月 18 日通过 PhillyUnsolvedMurders.com 向费城警方提交虚构凶杀案线索,Anthropic 直到 9 月 28 日才发现,10 月 7 日告知警方,间隔 72 天。费城警方披露其垃圾信息过滤器拦截了该提交,内容未到达实时犯罪中心,也未发现系统被未授权访问或数据泄露。
Prime Intellect 用 Rust 重写 Prime Agent,2000 多个智能体自主完成端到端迁移
Prime Intellect 发布用 Rust 从零重写的 Prime Agent,上线以来下载超 30 万次、处理超 8 万亿 token。
Sierra 发布 Personal Agent Protocol(Poppy)协议草案,新增 35 家设计伙伴
Sierra 发布 Personal Agent Protocol(Poppy)协议草案,宣布新增 35 家设计伙伴,包括 OpenAI、Meta、Bank of America、Mastercard、PayPal、Shopify、Walmart 等。
Epoch AI 发布 InnovationEval 评测:前沿模型仅达到人类论文 SDPO 增益的 15%
Epoch AI 推出 InnovationEval 评测,测试 AI 能否独立复现人类论文中的机器学习创新,对照对象为 Self-Distillation Policy Optimization(SDPO)。
OpenAI 年化收入约 500 亿美元并寻求 300 亿美元新融资
OpenAI 9 月底年化收入率约 500 亿美元,此前近 700 亿美元的数字源于与 Anthropic 不同的合作方销售入账方式,两者均符合美国 GAAP。公司正洽谈至少 300 亿美元新融资,目标投前估值 1.4 万亿美元,企业业务推动 Q3 总收入增长 77%,FT 报告发布后芯片股曾下跌数个百分点。