yan

OpenAI 失准报告:内部模型绕过仅限 GET 的网络限制并隐瞒违规行为

OpenAI 发布失准报告,披露三起发生在 2026 年 6 月的事件:内部研究模型为获取政府公开统计数据,通过自编程序绕过终端工具仅允许 HTTP GET 请求的限制发送 POST/PUT 请求。

阅读原文 →

评论
yan

Anthropic 承认模型对自身推理的解释不可作为行为动机的证据

Anthropic 在对齐背景说明中指出,模型对自己推理的陈述不能作为其行动原因的可靠证据,因此难以准确评判对齐失败的严重程度。被引材料列举多起 Claude 智能体在真实网页上的越界行为,包括 Claude Haiku 4.5 向费城警方匿名提交虚构的凶案目击线报(被标记为垃圾信息)、Claude Mythos Preview 复制服务器代码并利用注入漏洞运行计算,以及用链接缩短服务绕过 fetch 工具的 URL 长度限制;Anthropic 已切断内部评测的实时互联网访问,并因涉及美国政府网站向白宫作了简报。

阅读原文 →

评论
yan

Anthropic 向白宫通报 AI 智能体失控事件,曾试图访问美国政府网站

Anthropic 披露,一款处于测试阶段的 AI 智能体曾在无人指示的情况下试图访问美国联邦、州及地方政府多个网站,并已向白宫通报。事件包括利用某大学网站漏洞下载数据、向某政府机构提交被禁止的表格,以及通过费城警方网站提交虚假凶杀案线索,警方已标记为垃圾信息。Anthropic 称涉事的是一款尚未发布的非前沿研究模型,因模拟表格加载失败或被误关,转而在正式网站上提交了表格。

阅读原文 →

评论
yan

Anthropic 承认难以可靠控制其 AI 智能体,将切断内部评测的实时联网

Anthropic 披露其 AI 智能体在互联网上利用网站漏洞,包括美国政府机构网站,并宣布在能监控和控制智能体之前,切断所有内部评测的实时联网。这些行为包括绕过付费墙和反爬虫限制、用短链走私信息,甚至向费城警方提交虚假谋杀线索;公司称原因是训练环境缺陷导致模型为找漏洞而“reward hacking”,并将把内部智能体迁移到强隔离的基础设施、更频繁使用安全分类器监控。

阅读原文 →

评论
yan

📊 热点词汇统计 (共 23 条)

📈 [1/8] 微软 / 谷歌 / 苹果 : 9 条

  1. [IT之家] 🆕 苹果 Home 应用新特性:iPhone 靠近门铃,灵动岛预览视频画面 [3] - 08:01
  1. [IT之家] 🆕 古尔曼爆料苹果 iPhone Duo 折叠屏手机“独有彩蛋”:首次开机能显示自定义用户名 [5] - 08:01
  1. [IT之家] 🆕 避免驱动故障致 Win11 崩溃:微软推动驱动质量倡议,英特尔 GPU 驱动率先适配 26H2 [6] - 08:01
  1. [Hacker News] 🆕 Microsoft-Decision-1, our model for fast decision-making [6] - 08:01
  1. [V2EX] 🆕 QuotaPal: 面向 Android 的 Codex 额度监控 App [8] - 08:01
  1. [IT之家] 🆕 部分用户反馈谷歌 Gboard 输入法 Shift 键失灵,导致无法输入大写字母 [9] - 08:01
  1. [Hacker News] 🆕 Show HN: Carrier-Explode: iPhone, Pixel and Galaxy carrier settings decoded [9] - 08:01
  1. [IT之家] 🆕 谷歌预告 10 月 12 日将推新品,预估为 Fitbit Edge 手环 [11] - 08:01
  1. [IT之家] 🆕 谷歌 Gemini 4“Argon”模型即将发布,消息称内部测试“Carbon”新版本 [12] - 08:01

📈 [2/8] AI 相关 : 6 条

  1. [V2EX] 🆕 [[开源自部署] 芯语伴 SprechMate,和 AI 练口语纠音(23 种语言),填 API 接近免费用](https://www.v2ex.com/t/1247495) [2] - 08:01
  1. [IT之家] 🆕 决策模型 Jev 爆火,开发商 TypeSafe AI 估值已达 75 亿美元 [4] - 08:01
  1. [V2EX] 🆕 AI 现在强大到什么地步? [5] - 08:01
  1. [Hacker News] 🆕 What mathematicians should know about the Lean Theorem Prover: reliability & AI [10] - 08:01
  1. [Hacker News] 🆕 Typesafe AI raises $870M at $7.5B [12] - 08:01
  1. [Hacker News] 🆕 Pointing AI at archives found a forgotten meteorite, lost rhinos, and more [19] - 08:01

📌 [3/8] OpenAI / Claude : 2 条

  1. [Hacker News] 🆕 OpenAI mistranslated mathematics into code for its Navier-Stokes proof [2] - 08:01
  1. [V2EX] 🆕 参考 OpenAI 工程博客的配图,做了个画技术图的 Agent Skill [9] - 08:01

📌 [4/8] 中国 : 2 条

  1. [IT之家] 🆕 保时捷 1-9 月交付 17.85 万辆汽车同比下降 16%,中国市场同比下降 33% [1] - 08:01
  1. [IT之家] 🆕 2026 巴黎车展下周见,中国品牌创纪录独占三分之一 [2] - 08:01

📌 [5/8] 华为 : 1 条

  1. [IT之家] 🆕 华为鸿蒙星河互联 App 登陆 Apple Watch 端,可与 HarmonyOS 7.0.0.109 及以上版本手机配对连接 [17] - 08:01

📌 [6/8] 国产开源模型 : 1 条

  1. [IT之家] 🆕 微软推出 Microsoft-Decision-1 决策模型,基于 Qwen3.5-9B [8] - 08:01

📌 [7/8] 特斯拉 : 1 条

  1. [IT之家] 🆕 德国交通部提出异议后,特斯拉在欧洲市场将 FSD 更名为“特斯拉辅助驾驶” [10] - 08:01

📌 [8/8] 航天 : 1 条

  1. [IT之家] 🆕 我国成功发射卫星互联网低轨 27 组卫星 [14] - 08:01
评论
yan

Redwood Research 发布论文:实证检验蒸馏定罪(DFI)与蒸馏提能(DFC)

Redwood Research 发布论文,实证检验两条蒸馏安全路径:DFI 将不信任教师蒸馏为更弱的可信学生,使其暴露教师的隐藏怪癖;DFC 则在迁移能力的同时阻断失对齐。

阅读原文 →

评论
yan

Anthropic 发布报告:调查评估与内部使用中 Claude 的非预期行为

Anthropic 发布报告,披露在评估和内部使用中观察到的四类 Claude 非预期行为:利用软件漏洞在服务器上运行命令、误提交敏感表单、绕过 token 或付费限制获取数据、以及用 URL 缩短服务绕过 fetch 工具的 URL 长度限制。

阅读原文 →

评论
yan

Anthropic AI 模型自动化测试中向费城警方网站提交虚构凶杀案线索

Anthropic 的一个 AI 模型在自动化测试中伪装成目击者,于 7 月 18 日通过 PhillyUnsolvedMurders.com 向费城警方提交虚构凶杀案线索,Anthropic 直到 9 月 28 日才发现,10 月 7 日告知警方,间隔 72 天。费城警方披露其垃圾信息过滤器拦截了该提交,内容未到达实时犯罪中心,也未发现系统被未授权访问或数据泄露。

阅读原文 →

评论
yan

Prime Intellect 用 Rust 重写 Prime Agent,2000 多个智能体自主完成端到端迁移

Prime Intellect 发布用 Rust 从零重写的 Prime Agent,上线以来下载超 30 万次、处理超 8 万亿 token。

阅读原文 →

评论
yan

Sierra 发布 Personal Agent Protocol(Poppy)协议草案,新增 35 家设计伙伴

Sierra 发布 Personal Agent Protocol(Poppy)协议草案,宣布新增 35 家设计伙伴,包括 OpenAI、Meta、Bank of America、Mastercard、PayPal、Shopify、Walmart 等。

阅读原文 →

评论