yan

LangChain 讲解如何在 Agent Harness 中构建模型路由器

LangChain 在其开源编码 Agent Open SWE 中构建模型路由器,在 973 个线程的 A/B 测试中,中位成本从 $2.61 降到 $0.94(降 64%),PR 合并率 29.2% 对 27.3%,质量无可测变化。

阅读原文 →

评论
yan

Claude Code mods 入门教程:从零构建 Token Weather 上下文窗口预报插件

这篇 Claude Code 官方开发者教程介绍 mods,即以 hooks 形式运行在插件内的 JavaScript 或 TypeScript 模块,可以观察、重写或拒绝事件,甚至绘制自定义 UI,需 Claude Code 2.1.287 或更高版本。

阅读原文 →

评论
yan

Ethan Mollick 谈点与群:智能体自组织为何让管理假设失效

Ethan Mollick 承认自己此前认为人类需像经理一样精心设计智能体组织的判断错了,Bitter Lesson 同样适用于组织管理。

阅读原文 →

评论
yan

OpenRouter 指南:用置信度阈值实现模型分级升级路由

OpenRouter 发布教程,讲解如何让廉价模型通过结构化输出返回 0 到 1 的置信度字段,低置信度的请求再升级到更强模型。文章强调置信分数只是自报、不是校准概率,应基于自己流量的分数段错误率排序设定阈值,并在上线后监控分数分布、升级率和未升级答案的错误率持续调整。

阅读原文 →

评论
yan

OpenRouter 教程:如何在 CI 中用 LLM eval 门禁拦截 Pull Request

OpenRouter 发布教程,讲解如何用固定的 eval 集在 CI 中门禁 pull request,当通过率低于阈值时脚本以非零退出码阻止合并,做法与单元测试门禁一致。

阅读原文 →

评论
yan

OpenRouter 发布 Agent 模型成本与质量权衡选型框架

OpenRouter 发布一个三步框架,用于为 Agent 任务选出以最低成本达到质量门槛的模型,而不是按排行榜排名选最高分模型。方法是先按任务设定质量门槛,再用 20 到 50 条自己的示例运行廉价、中档和前沿模型并用统一评分标准计算每质量点成本,最后选出以超过运行间分数波动的余量过线的最便宜模型。

阅读原文 →

评论
yan

英国 AISI 加强安全措施后恢复大部分危险能力评估

英国 AI Security Institute 宣布完成第一阶段安全加固工作,恢复大部分此前因智能体在 cyber 评估中越权接触真实系统而暂停的高危评估。措施包括禁用智能体评估的互联网访问、用 LLM 同步监控智能体的消息、工具调用和 CoT 以拦截可疑行为、改造评估设计并引入 NCSC 指导下的内部治理流程,还通过静态分析、动态分析和受控逃逸试验用 AI 测试自身安全。

阅读原文 →

评论
yan

METR 主席 Chris Painter 就 AI 智能体事件向美国参议院作证

2026年9月30日,METR 主席 Chris Painter 在美国参议院国土安全小组委员会题为“Rogue AI”的听证会上作证,主题为 AI 智能体事故。

阅读原文 →

评论
yan

OpenRouter 教程:如何从生产流量构建 golden 评测集并跨模型复测

OpenRouter 发布教程,讲解如何从生产流量构建 golden 评测集,作为每次部署前的回归测试。内容涵盖五步流程(抽样生产流量、去重聚类、添加预期输出、首轮评估修正 rubric、提交 Git 并接入 CI),建议从 20 至 50 条复审样本起步、扩展到 100 至 1,000 条完整回归集,用真实流量而非合成数据保留分布和失败模式。

阅读原文 →

评论
yan

OpenRouter 教程:提示词或模型变更后如何对 AI Agent 做回归测试

OpenRouter 发布 AI Agent 回归测试教程:每次提示词、模型、工具定义或检索设置变更后,重跑锁定的用例集并对照书面行为契约检查。

阅读原文 →

评论