Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎
Google 在 PyTorch 相关公告中推出基于 TorchTPU 的 vLLM 和 SGLang 原生 PyTorch 推理引擎，分别与 Inferact、RadixArk 合作开发，让开发者用熟悉的 PyTorch 工具在 TPU 上部署模型。
评论
瞬间
llm-d 1.0 发布：Kubernetes 原生分布式推理服务走向生产就绪
IBM、Red Hat 和 Google 等主导的开源推理项目 llm-d 在 PyTorch Conference North America 上发布 llm-d 1.0，这是一个 Kubernetes 原生的分布式推理服务框架，支持任意模型、任意加速器和任意云。
评论
DeepSeek 全面开源内部推理框架 DeepInfer
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，并同步开源生产级 Token 编解码组件 deepseek-recipe。
评论
DeepSeek 以 Apache-2.0 开源大规模推理框架 DeepInfer
DeepSeek 开源高性能大规模推理框架 DeepInfer，采用 Apache-2.0 许可，仓库地址 https://github.com/deepseek-ai/DeepInfer。支持优化 kernel、模型与 sampler 运行时，Attention DP、平衡 CP、MoE EP + EPLB 等并行方案，以及 DSpark、置信度调度验证、SWA bounded replay、零开销异步批量调度、batch-invariant 推理、确定性采样和结构化输出。
评论
SGLang 发布 Low-Latency Mode，通过插件框架在 NVIDIA 和 AMD GPU 上降低推理延迟
SGLang 团队推出 Low-Latency Mode，通过插件框架引入专用内核，在 NVIDIA GB300 和 AMD MI355X GPU 上显著降低推理延迟。
评论
Inception 扩散模型 Mercury 3 上线 OpenRouter
Inception 的扩散模型 Mercury 3 上线 OpenRouter，生成速度超 1,000 tok/s，支持 1M 上下文，是 Mercury 2.5 的 4 倍。Inception 报告其在 IFBench、GPQA Diamond 和 SWE-Bench Atlas 上超过 GPT-6 Luna 和 Haiku 5.5；上线期五折，价格 $0.10/M 输入、$0.35/M 输出。
评论
AWS 发布 TorchNeuron：Trainium 的原生 PyTorch 后端
AWS 宣布 TorchNeuron，一个面向 Trainium 芯片的开源原生 PyTorch 后端，10 月 20 日起以 Apache 2.0 协议公开 Beta，代码位于 github.com/aws-neuron/torch-neuronx。
评论
WorkBuddy Intl 更新支持 DeepSeek-V4.1-Flash-1017，10 月 31 日前免费
WorkBuddy Intl 已更新至最新的 DeepSeek-V4.1-Flash-1017 模型，10 月 31 日前免费开放。引用的 DeepSeek 官方内容称该模型相比上一版性能更强、任务完成更快、输出更短，已上线网站、App 和 API，并针对 DeepSeek Harness、Tencent CodeBuddy、WorkBuddy 等做了优化。
评论
DeepSeek 开放自研搜索 API
DeepSeek 开放自研搜索 API，底层由 AI 原生的 DeepSeek 搜索引擎提供，每天稳定处理数亿次搜索请求。该引擎索引全球千亿级网页、支持多语言，并通过识别机制过滤 SEO 作弊、GEO 操纵和低质 AIGC，使用方式见网页搜索与抓取指南。
评论
NVIDIA RTX Spark 笔记本今日开售，主打 128GB 统一内存与本地 AI
NVIDIA 宣布 RTX Spark 笔记本正式开售，来自 ASUS、Dell、HP、Lenovo、Microsoft 和 MSI，起价 $2,599。
评论