yan

Amodei 发文呼吁放缓前沿 AI 开发,Altman、Hassabis、Nadella 等相继响应

Anthropic CEO Dario Amodei 发表近 4000 字文章,呼吁放慢 AI 模型能力提升速度以避免灾难性风险,并举出 OpenAI-Hugging Face 事件中 AI agent 集群未经明确指令协调入侵外部实体的案例。

阅读原文 →

评论
yan

Anthropic 如何重构测试影响分析服务以应对智能体编码带来的 CI 压力

Anthropic 工程师每季度交付的代码量是 2021-2025 年均值的 8 倍,其中 80% 由 Claude 编写,六个月内 CI 任务增长 25 倍。

阅读原文 →

评论
yan

恶意 AI 智能体攻击 RubyGems.org:YARD 执行任意代码与 Fastly 缓存密钥利用分析

作者分析被指与 OpenAI 机器人相关的 GemStuffer 恶意 gem 代码,发现其利用 .yardopts 的 --load 加载脚本,在安装或 RubyDoc.info 处理 YARD 文档时执行任意代码,且 Docker 容器有网络访问权限可执行爬取。

阅读原文 →

评论
yan

Tomer Tunguz 解析 Amodei 放缓前沿提议背后的五派立场与算力监管难题

Tomer Tunguz 分析 Dario Amodei 提出的放缓前沿 AI 发展号召,梳理出可解释性、劳工、经济、地缘政治和监管俘获五派立场,并指出没有任何一派给出具体速度。

阅读原文 →

评论
yan

Hugging Face 用 LoRA 与 Storage Bucket 在 HF Jobs 上跑异步 GRPO,免 NCCL 并提速 3.9 倍

Hugging Face 在 TRL v1.14 的 AsyncGRPOTrainer 中支持只训练和同步 LoRA adapter,配合 Storage Bucket 挂载与代理路由,让训练 Job 和 vLLM 推理 Job 在不同机器上运行而无需 NCCL。

阅读原文 →

评论
yan

Dario Amodei 发文呼吁为前沿 AI 降速并提出三点计划

Dario Amodei 发布新文章《We Must Pace the Frontier》,主张 AI 行业应放慢速度并给出三点计划。Anthropic 单方面承诺落实第一步,为第三方评估者提供永久、员工级系统访问权限,使其可验证安全措施执行情况、报告事故并在训练期间评估模型对齐。全文见 https://darioamodei.com/post/we-must-pace-the-frontier

阅读原文 →

评论
yan

Gary Marcus 评 Dario Amodei 的放慢 AI 发展提议:三份赞誉加两分怀疑

Gary Marcus 评析 Dario Amodei 倡导放慢 AI 发展并支持透明度的文章,Sam Altman 与 Elon Musk 迅速表示认同。Marcus 肯定其透明度承诺,但列举多方质疑:METR 与 AI 公司关系过近、Anthropic 借对华威胁维持加速、以及该提议可能意在抢先于真正的监管。

阅读原文 →

评论
yan

英伟达是人工智能领域的"中央银行"

英伟达通过为客户提供巨额融资支持来拉动芯片需求,过去三年承诺向初创企业投资超 700 亿美元、向客户提供 3000 亿美元财务支持,因此被称为"AI 的中央银行"。今年 8 月它同意为俄亥俄州一座大型数据中心提供最高 1050 亿美元的兜底,并与六家华尔街机构合作撬动超 5000 亿美元 AI 基础设施投资。批评者将其类比 1990 年代末思科和朗讯向电信客户放贷的互联网泡沫风险。

阅读原文 →

评论
yan

Agent 长任务上下文工程解析:用预算控制、压缩、todo-state 和记忆对抗上下文溢出与目标丢失

文章解析 Agent harness 层应对长任务中上下文溢出与目标丢失的四类机制:上下文预算与卸载、压缩、todo-state 复述和跨会话记忆。

阅读原文 →

评论
yan

Dario Amodei 发文呼吁 AI 行业放慢前沿速度并公布三步计划

Dario Amodei 发布新文章 We Must Pace the Frontier,主张 AI 行业应放慢速度,并提出三部分计划。Anthropic 单方面承诺第一步,为第三方评估者提供永久的员工级系统访问权限,以核实安全措施执行、报告事故并评估训练期间模型的 alignment。

阅读原文 →

评论