1. vLLM v0.32.0 发布:/v1/systemone 结构化决策端点到家,NVFP4 KV cache 全架构普及
GitHub Releases | 2026-10-18
事件概述
vLLM 于北京时间 10 月 18 日 14:50 发布 v0.32.0,汇集 814 个 commit、363 位贡献者(121 位新贡献者)。本版把「结构化决策」能力下沉为推理引擎默认面,同时将低精度 KV cache 推向全硬件架构,并带来多 API worker 负载路由等面向 Agent 高并发短请求场景的系统性改进。
技术与工程价值
- 核心机制:新增
POST /v1/systemone 端点,直接在引擎内回答 choice / noul / score 三类结构化决策问题并默认提供服务——与近期 OpenAI Decisions API、Perplexity pplx-decider 等「决策模型独立品类」浪潮形成开源基建侧呼应,编码 Agent 的工具选择/分支判断可不再经过自由文本生成。
- 低精度 KV cache 全面铺开:NVFP4 KV cache 新支持 SM8x / SM90 / SM12x(含 SM12x XQA decode),GLM-5.x 在 SM100 默认切换 FP8 KV cache,ROCm 新增
ultraquant_4bit(约 FP8 两倍密度)。
- 通用 hf 解析器:读取 checkpoint 自带的
response_template,新模型接入无需再写模型特定解析器,Python 与 Rust 前端双支持。
- 多 API worker 最小负载路由:
--api-server-count > 1 时按最小负载分配连接,直接优化 Agent 循环中「短请求、高频率」的请求模式。
- 安全面:修复 3 个 GHSA(chat template 资源耗尽、tokenizer
max_token_id 差一错误、P2P ZMQ socket 耗尽),CORS 默认不再放开所有源。
- 实际影响:KV cache 低精度化直接扩大单卡可服务上下文长度与并发会话数,是自建 Agent 推理基础设施最直接的降本杠杆;
/v1/systemone 与 hf 解析器分别从「决策原生支持」和「模型接入成本」两侧降低 Agent 工作流的工程摩擦。
关键指标/资源
| 指标 | 数值 | | 口径 |
|---|
| 短请求 req/s 提升 | +43–85% |
| 自述 |
| GLM-5.x FP8 KV 吞吐 | +2.3–5.5% |
| 自述 |
| GLM-5.3-Flash 输出吞吐 | +31% |
| 自述 |
| HiSparse 高并发吞吐 | +58% |
| 自述 |
| commit 数 | 814 |
| 自述 |
- 评测/性能(均为官方 release notes / PR benchmark 口径,配置见原文,未见第三方独立复现):多 API worker 短请求 req/s +43–85%(Qwen3-0.6B,32 输入 / 1 输出 token);GLM-5.x FP8 KV cache(SM100)每卡 KV 显存减半、吞吐 +2.3–5.5%、TTFT +7–11%;
fp8_ds_mla(SM90)GLM-5.3-Flash 输出吞吐 +31%;HiSparse per-request residency 在 B200 高并发全驻留长上下文下 +58%;本版 814 commits / 363 contributors。
- 代码/论文:GitHub Release
vllm-project/vllm v0.32.0(pip install vllm,CUDA 13.0 默认镜像 vllm/vllm-openai:v0.32.0);破坏性变更含 Python 3.10 弃用(最低 3.11)、transformers>=5.16.1,<5.20.0、CORS 默认收紧。
```metrics
[{"label":"短请求 req/s 提升","value":"+43–85%","kind":"self","bar":85},{"label":"GLM-5.x FP8 KV 吞吐","value":"+2.3–5.5%","kind":"self","bar":30},{"label":"GLM-5.3-Flash 输出吞吐","value":"+31%","kind":"self","bar":60},{"label":"HiSparse 高并发吞吐","value":"+58%","kind":"self","bar":58},{"label":"commit 数","value":"814","kind":"self","bar":90}]
```
#AI-Coding#推理基础设施
2. VAST 开源实时世界模型 EdenLive:单卡 RTX 5090 720P 超 24FPS,「状态-渲染解耦」架构落地
VAST 官方 GitHub + 量子位 | 2026-10-18
事件概述
VAST 于 10 月 18 日正式发布并开源实时世界模型 EdenLive(Project Eden 的阶段成果,今年 6 月研究预览的延续),模型权重、推理代码、技术报告与端到端 Demo 同步上线(GitHub VAST-AI-Research/EdenLive,Apache-2.0,项目主页 vast-eden.ai),并附带开源「Prompt to Proxy Game」Skill 游戏原型。
技术与工程价值
- 核心机制:官方称首次在实时生成前提下同时实现「任意参考输入 + 任意画风 + 长时连续运行」——给定简化场景或参考视频、目标首帧与提示词,模型沿参考的布局与运动持续生成写实、二次元等不同画风的精细画面。
- 架构分工:延续 Project Eden 确立的「状态维护与视觉渲染解耦」——上游交互系统维护世界状态与交互规则,EdenLive 只负责把状态变化实时渲染出来,从用户输入到画面呈现的端到端延迟为百毫秒级。
- 实际影响:交互式世界模型(游戏、仿真、虚拟内容生产)的实时性门槛从数据中心级算力降到单张消费级显卡;「物理规则由符号系统维护、视觉由生成模型渲染」的分层为「可玩性一致性」与「生成式视觉表现」的结合提供了可复用的工程范式,也回应了「AI 搭场景」能力普及之后的实时渲染缺口。
关键指标/资源
| 指标 | 数值 | | 口径 |
|---|
| 生成帧率(720P/5090) | >24 FPS |
| 自述 |
| 端到端延迟 | 百毫秒级 |
| 自述 |
| 模型规模 | 5B |
| 自述 |
| 连续生成时长 | 分钟级 |
| 自述 |
- 评测/性能:单张 RTX 5090、5B 模型、720P 下生成速度超 24FPS,可持续生成分钟级画面,端到端延迟百毫秒级(均为 VAST 官方与量子位报道口径,未见第三方实测;仓库创建于 10-12、正式开源推送于 10-18)。
- 代码/论文:GitHub
VAST-AI-Research/EdenLive(Apache-2.0);项目主页 vast-eden.ai;技术报告与 Demo 同步公开。
```metrics
[{"label":"生成帧率(720P/5090)","value":">24 FPS","kind":"self","bar":48},{"label":"端到端延迟","value":"百毫秒级","kind":"self","bar":80},{"label":"模型规模","value":"5B","kind":"self","bar":30},{"label":"连续生成时长","value":"分钟级","kind":"self","bar":60}]
```
#世界模型#实时生成#开源发布
3. 西湖机器人 WR1 通用大脑:全球首创大小脑双预训练,WM+VLA+GAE 融合驱动全身协同家务任务链
西湖机器人(杭州)经新浪财经/网易报道 | 2026-10-19
事件概述
据 10 月 19 日报道,西湖机器人(杭州,官网 wlrobo.com)发布全新升级的通用大脑 WR1 并以真实家庭场景演示连贯家务任务链:人形机器人从晃动晾衣架上取下长裤、搭臂承托、抛送机械臂,转身铺展长裤并与第二台人形协同折叠,全程视觉观察、实时调整;官方称其中「人形机器人灵巧手自主折叠衣物」为全球首个演示案例,多项关键能力对标甚至超越 Figure 等海外标杆。
技术与工程价值
- 核心机制:WR1 采用官方所称「全球首创的通用大小脑双预训练系统架构」,把多模态任务理解与全身控制深度耦合——大脑侧融合世界模型(WM)与视觉-语言-动作模型(VLA),依据视觉观察与语言指令统一输出包含身体移动、全身姿态、灵巧手操作的完整动作序列;小脑侧由自研的「全球首个通用动作大模型」GAE 完成高速稳定执行;双机协同演示中两台机器人互为观察对象、按对方动作与物体实时状态调整配合。
- 实际影响:家务类长程任务链(柔性物体 + 外部扰动 + 多机协作)是具身智能公认最高门槛场景之一,WR1 的演示把竞争焦点从「单点技能(抓杯/叠毛巾)」推向「连贯任务执行」;其 WM+VLA 大小脑融合路线与本期 EdenLive 等「世界模型进入策略/渲染层」的进展共同强化了「世界模型作为具身系统核心组件」的趋势。
关键指标/资源
| 指标 | 数值 | | 口径 |
|---|
| 演示任务链长度 | 取衣→折叠 6 环节 |
| 自述 |
| 协同机器人数量 | 2 台 |
| 自述 |
| 公开量化基准 | 未披露 |
| 自述 |
- 评测/性能:无公开量化基准;「全球首创大小脑双预训练」「全球首个灵巧手自主折叠衣物演示」等均为媒体转引口径(自述数据,未见第三方复现),任务成功率等指标未披露。
- 代码/论文:暂无公开仓库/论文;第一信源为新浪财经/网易转「市场资讯(机器人全球资讯)」10-19 07:12 报道,官方发布渠道待核实(详见「待核实」)。
```metrics
[{"label":"演示任务链长度","value":"取衣→折叠 6 环节","kind":"self","bar":70},{"label":"协同机器人数量","value":"2 台","kind":"self","bar":40},{"label":"公开量化基准","value":"未披露","kind":"self","bar":0}]
```
#具身智能#VLA#世界模型