WAM-RL: World-Action Model Reinforcement Learning with Reconstruction Rewards and Online Video SFT
论文信息 - 作者：Zezhong Qian（北京大学）, Xiaowei Chi（北京大学，Project Leader）, Yu Qi（东北大学）, Haozhan Li（清华大学）, Zhi Yang Chen（北京大学）, Shanghang Zhang（北京大学，通讯作者） - 发表：arXiv 2026 - arXiv ID：2606.17906 - 代码：未提供
本文基于以下本地材料整理：arXiv TeX 源码（
notes/2026-06/2026-06-24/arXiv-2606.17906v1/）
一、核心问题
World-Action（WA）模型在机器人策略学习中展现了强大的泛化能力和数据效率，但它们为什么无法持续进化？
以 Genie Envisioner、Cosmos Policy、DreamZero 为代表的 WA 模型通过视频生成联合建模未来观测和动作，利用视觉预测结构为长时域决策提供归纳偏置，在仿真和真实场景中均表现优异。然而，现有 WA 模型主要依赖专家轨迹的监督学习进行训练，这带来了两个根本性限制：
- 技能受限于演示分布：学到的策略被训练数据的支持集所约束，难以在演示分布之外习得精细操控技能。
- 缺乏持续改进能力：模型无法通过与环境的在线交互持续改进，而这对于适应新场景和纠正执行错误至关重要。
一个自然的方向是将强化学习（RL）引入 WA 范式。但直接套用现有 VLA 模型的 RL 方法行不通：VLA 的 RL 方法主要优化动作策略而固定视觉表征；而 WA 模型中，动作模型深度依赖世界模型的潜空间，naively 施加 RL 或在线微调会导致潜表征分布漂移（distribution shift），引发不稳定和性能退化。
图 1：WAM-RL 框架总览。通过在线交互联合优化世界模型和动作模型（actor）。世界模型生成想象的未来观测，由 actor 翻译为动作并在真实环境中执行。产生的观测用于更新两个组件：世界模型通过成功轨迹的在线视频自监督微调加 KL 正则化来精炼，actor 则通过衡量想象结果与执行结果一致性的重建稠密奖励来优化。
为什么 WA 模型的 RL 比 VLA 更难？
WA 模型由两个紧耦合组件构成：
- 世界模型（World Model）：生成未来预测（视频帧），是核心能力的来源
- 动作模型（Actor/Action Model）：将世界模型的潜表征映射为可执行动作，本质是一个"翻译器"
论文的核心观察是：WA 模型的主要能力来自世界模型，而动作模型只是将潜预测转换为动作的翻译器。因此，naive 地只优化 actor（如 VLA 的常见做法）是不够的——世界模型的预测精度从根本上约束了 actor 的表现上限。
二、核心思路与方法
2.1 背景：Flow Matching 与 Flow-SDE（逐公式解读）
在讲 WAM-RL 的方法之前，先理解其技术基础。本节把每个公式的原理和直觉讲透。
2.1.1 什么是 Flow Matching？一个直观类比
想象你有一大盆完全浑浊的水（高斯噪声），你想让它变成一杯分层漂亮的鸡尾酒（真实视频数据）。Flow Matching 就是学习"把每一滴水分子从浑浊位置推到鸡尾酒位置"的速度场。
形式化：你有两个分布——
- $x_0 \sim p_0$：初始状态，纯噪声（浑浊水），$t=0$
- $x_1 \sim p_{\text{data}}$：目标状态，真实视频帧（鸡尾酒），$t=1$
模型要学习一个时变向量场 $v_\theta(x_t, t)$，告诉你：在时刻 $t$、当前位置 $x_t$，应该往哪个方向、以多大速度移动。
逐符号解读：
- $x_t$：时刻 $t$ 的"中间态"。$t=0$ 时是纯噪声，$t=1$ 时是干净视频，$t=0.5$ 时是半噪声半视频
- $v_\theta(x_t, t)$：模型输出的速度向量——在当前时刻 $t$、当前位置 $x_t$，你该往哪个方向走。$\theta$ 是模型参数（神经网络权重）
- $\frac{dx_t}{dt}$：$x$ 随时间的变化率。这个等式说的是：$x$ 的变化完全由 $v_\theta$ 驱动，就像水流带着树叶漂——树叶的位置变化 = 水流速度
怎么训练？ 需要告诉模型"正确答案"是什么：
逐符号解读：
- $\mathbb{E}_{x_0, x_1, t}[\cdot]$：对随机抽样的 $x_0$（噪声）、$x_1$（真实数据）、$t$（时间）求平均
- $v_\theta(x_t, t)$：模型的预测速度——"我猜该往这边走"
- $v^*(x_t, t)$：真实速度——直接从 $x_t$ 到 $x_1$ 的直线方向。如果插值路径是 $x_t = (1-t)x_0 + tx_1$，那么 $v^* = x_1 - x_0$（从噪声指向数据的恒定速度）
- $\|\cdot\|^2$：平方误差。预测速度和真实速度差得越多，损失越大
- 整体含义：训练模型让它在任何时刻 $t$ 的预测速度，都尽可能接近"从当前点直接走向目标"的正确方向
为什么叫 Flow Matching？ 因为模型在"匹配"（matching）真实的"流"（flow）——学习一条从噪声通向数据的运输线。
2.1.2 Flow-SDE：为什么要在 ODE 里加噪声？
上面的 Flow Matching 是确定性的 ODE（常微分方程）——给定起点 $x_0$，终点 $x_1$ 唯一确定，没有任何随机性。但 RL 需要两样东西：
- 探索（Exploration）：不能每次都走同样的路——需要偶尔随机偏离，发现更好的策略
- 可计算的动作概率（Action Likelihood）：RL 的策略梯度公式需要 $\log \pi_\theta(a|s)$——"在当前状态 $s$ 下选择动作 $a$ 的概率有多大"。确定性过程没有概率可言
Flow-SDE 的解决方案：在原本的确定性 ODE 中注入布朗运动（白噪声）：
逐符号解读：
- $v_\theta(x_t, t)\,dt$：原来的确定性漂移——"正常情况下该往哪走"（和 ODE 一样）
- $\sigma$：噪声强度（标量），控制随机程度。$\sigma=0$ 时退化回确定性 ODE
- $dW_t$：布朗运动增量（维纳过程）。通俗理解：每个无穷小的时间步里，加上一个均值为 0、方差为 $dt$ 的高斯随机扰动。就像确定性水流里扔了一粒随机抖动的小石子
- $+$：确定性漂移 + 随机扰动 = 有噪声的轨迹
关键效果——动作变得可计算概率了：
加入噪声后，每一步的去噪转移从一个"确定的跳跃"变成了一个高斯分布：
逐符号解读：
- $p(x_{t-1} \mid x_t)$：已知当前状态 $x_t$，下一步 $x_{t-1}$ 的条件概率分布（注意 flow 方向是从 $t=0$ 噪声→$t=1$ 数据，但 SDE 采样反向走，所以下标是 $t \to t-1$）
- $\mathcal{N}(\cdot; \mu, \sigma^2 I)$：以 $\mu$ 为中心、$\sigma^2 I$ 为协方差的多元高斯分布（钟形曲线的高维版本）
- $\mu_\theta(x_t, t)$：分布的均值——"最可能的下一步位置"，由模型预测
- $\sigma^2 I$：球形协方差——各个维度独立、等方差。$\sigma$ 越大，下一步越不确定
通俗理解：确定性的 ODE 说"从 A 点你一定会走到 B 点"；SDE 说"从 A 点你可能走到 B 点附近的一个范围，越靠近 B 越可能，但也可能偏一点"。
2.1.3 从 SDE 到 REINFORCE 策略梯度：完整推导链
这一步是整个 WAM-RL 数学链路的核心：如何把一个视频生成模型变成一个可以用 RL 优化的策略？
第一步：把去噪轨迹解释为 MDP
- 状态 $s$：当前的视频帧（或 latent）$x_t$
- 动作 $a$：从 $x_t$ 去噪一步到 $x_{t-1}$ 的转移
- 转移概率：$p(x_{t-1} \mid x_t) = \mathcal{N}(x_{t-1}; \mu_\theta(x_t, t), \sigma^2 I)$（上面 SDE 给的高斯分布）
第二步：计算整个动作序列的概率
一个去噪过程走 $T$ 步（比如从纯噪声 $x_0$ 到干净视频 $x_1$），整个轨迹的对数概率是各步对数概率之和：
逐符号解读：
- $\pi_\theta(a|s)$：策略——给定当前状态 $s$（初始噪声 $x_0$），输出整个动作序列 $a = (x_0 \to x_1 \to ... \to x_T)$ 的概率
- $\log$：对数概率。乘法变加法，数值更稳定，梯度更好算
- $\sum_t$：把每一步的对数概率加起来。因为高斯分布的 $\log p$ 有封闭形式（就是负的平方误差），可以直接算
- 关键意义：有了 $\log \pi_\theta$，RL 的数学基础就齐了
第三步：REINFORCE 策略梯度
逐符号解读——每个部分在做什么：
- $J$：目标函数——我们想最大化的量（累计奖励的期望）
- $\nabla_\theta$：对模型参数 $\theta$ 求梯度——"参数该往哪个方向调"
- $\nabla_\theta \log \pi_\theta(a|s)$：策略对参数的变化敏感度。它告诉你：如果微调参数让动作 $a$ 的概率变大，$\log\pi$ 会怎么变。方向是"让好动作更可能"
- $A(s,a)$：优势函数（Advantage）——"动作 $a$ 比平均水平好多少"。$A>0$ 说明这个动作不错，该鼓励；$A<0$ 说明该抑制
- $\mathbb{E}[\cdot]$：对所有采样的轨迹求期望（平均）
- 整体直觉：如果 $A$ 是正的（好动作），梯度会把参数往"增加这个动作概率"的方向推；如果 $A$ 是负的（坏动作），梯度会把参数往"减少这个动作概率"的方向推。权重的绝对值 $|A|$ 越大，推力越强
为什么不用 PPO/GRPO？ PPO 需要 clip + 重要性采样（多次 rollout），GRPO 需要同一 prompt 的多条采样做组内对比——都与单步视频生成的高昂推理成本冲突。Flow-SDE 已提供 $\log \pi_\phi$，重建奖励直接给 $A_t$（无需 critic bootstrap），REINFORCE 足够。
2.2 整体框架：联合优化两大组件
WAM-RL 的核心设计理念是：让世界模型和 actor 协同进化。这通过两个协调机制实现：
| 组件 | 优化方式 | 核心约束 |
|---|---|---|
| 世界模型 | 在线视频 SFT（成功轨迹） | KL 正则化稳定潜空间 |
| 动作模型（Actor） | RL + 重建稠密奖励 | 奖励信号对齐世界模型的预测目标 |
2.3 在线视频 SFT + KL 正则化：稳定地改进世界模型
为什么需要 KL 正则化？
直觉上，用 RL 交互中收集的成功轨迹来微调世界模型是自然的——让模型更好地预测任务相关的动态。但直接微调会导致严重不稳定：
Actor 深度依赖世界模型的潜特征分布。在线更新会显著偏移这一分布，导致 actor 学到的策略与演化的潜空间之间出现不匹配——actor 迅速失效。
KL 正则化的具体做法（逐公式解读）
第一步：把确定性特征变成概率分布
DiT 架构的世界模型输出的中间特征 $z_t = f_\theta(x_{<t})$ 是确定性的——同样的输入永远得到同样的 $z_t$。但 KL 散度只能衡量两个概率分布之间的差异。所以论文做了一个巧妙的高斯近似：
逐符号解读：
- $z_t = f_\theta(x_{<t})$：当前世界模型对输入 $x_{<t}$（历史帧）输出的潜特征向量。确定性值，用作高斯分布的均值
- $\Sigma_\theta$：对角协方差矩阵。每个对角线元素是该特征维度的方差，通过 EMA（指数移动平均）在训练过程中动态估计。直观上：$\Sigma_\theta$ 刻画了"这个特征维度天然有多大的波动范围"
- $\mathcal{N}(z_t, \Sigma_\theta)$：以 $z_t$ 为中心、$\Sigma_\theta$ 为协方差的高斯分布。实际特征落在 $z_t$ 周围的某个范围，越靠近中心越可能
- $z_t^{\text{old}} = f_{\text{old}}(x_{<t})$：冻结的预训练世界模型的输出——"旧模型在同样的输入下给出的特征是什么"
- $\Sigma_{\text{old}}$：从旧模型预计算好的固定协方差，训练中不变——"旧模型的特征分布形态"
- 为什么构造高斯？ 因为两个高斯分布之间的 KL 散度有封闭公式（解析解），可以直接算，不需要采样估计
第二步：KL 散度——衡量分布漂移的尺子
逐符号解读：
- $D_{\text{KL}}(P \| Q)$：KL 散度（Kullback–Leibler Divergence）——衡量分布 $P$（新模型）和分布 $Q$（旧模型）之间有多"不像"。两个分布完全相同时 KL = 0，差异越大 KL 越大
- $\|\;$：KL 散度是非对称的——$D_{\text{KL}}(P\|Q) \neq D_{\text{KL}}(Q\|P)$。这里新模型在前、旧模型在后，意味着：用旧分布 $Q$ 去"解释"新分布 $P$ 需要多少额外信息量。可以理解为"新分布偏离旧分布的程度"
- $\mathbb{E}_t[\cdot]$：对所有时间步取平均——不是只约束某一帧，而是整个序列的特征都别跑太远
- KL 项的实际效果：如果新世界模型的特征均值 $z_t$ 漂移太远，或者方差 $\Sigma_\theta$ 膨胀/收缩太大，KL 值会急剧上升 → 损失变大 → 梯度把参数拉回来
第三步：最终损失——在学习和稳定之间折中
- $\mathcal{L}_{\text{video}}$：视频预测损失（Flow Matching loss）——"学新东西"。驱动世界模型更好地预测视频帧
- $\mathcal{L}_{\text{KL}}$：KL 约束——"别忘了你是谁"。防止潜空间剧烈漂移导致 actor 失效
- $\lambda_{\text{KL}}$：平衡系数（超参数）。$\lambda_{\text{KL}}$ 大 = 偏保守（像旧模型），$\lambda_{\text{KL}}$ 小 = 偏激进（自由学新东西）
- 直觉类比：就像悬崖边上的安全绳。$\mathcal{L}_{\text{video}}$ 让你往悬崖下探索更好的风景，$\mathcal{L}_{\text{KL}}$ 是一根拴在安全桩上的绳子，确保你不会掉下去（潜空间不会崩溃到 actor 完全无法工作）
直观理解：KL 项约束更新后的世界模型保持预训练模型的潜特征几何结构，防止 abrupt distribution shift，同时允许渐进式适应。论文观察到这种方法稳定了联合训练，但改进是温和的——反映了稳定性和适应性之间的权衡。
2.4 基于重建奖励的 Actor RL（逐公式解读）
核心直觉：为什么用"想象 vs 现实"作为奖励？
Actor 的职责是将世界模型的"想象"翻译为真实动作。传统 RL 奖励是任务级的（"抓到了 +1，没抓到 0"）——稀疏、延迟、难以优化。WAM-RL 换了一个思路：既然世界模型擅长预测未来，那就让 actor 的目标是"让真实执行结果尽可能接近世界模型的预测"。
这就像一个导演（世界模型）画了分镜（未来视频预测），演员（actor）照着演。演员演得好不好，不看票房（任务奖励），而看表演和分镜有多像（重建一致性）。
第一步：重建奖励的定义
逐符号解读：
- $r_t$：时刻 $t$ 的即时奖励。它是一个标量，越大越好
- $\hat{x}_{t+1:t+H}$：世界模型想象的未来 $H$ 帧——"如果一切按计划进行，接下来 $H$ 帧应该长这样"。$\hat{}$ 表示预测值
- $x_{t+1:t+H}$：在真实环境中实际执行 actor 的动作后，观测到的未来 $H$ 帧——"机器人真的动了之后，相机拍到了什么"
- $\mathrm{sim}(\cdot, \cdot)$：相似度函数——衡量两组视频帧有多像。返回值越高说明 actor 执行得越接近世界模型的规划
- $H$：预测时域（horizon）。论文没有给出具体值，但概念上是"往后看几步"——既不是只看下一帧（太短视），也不是看到永远（太困难）
与常规 RL 奖励的区别：
- 常规奖励：$r_t =$ 任务成败（稀疏，0 或 1）
- 重建奖励：$r_t =$ 执行与想象的吻合度（稠密，连续值）
- 关键优势：重建奖励是稠密的——每一步都有信号，不是等到任务结束才知道好坏。这对单步视频模型（推理昂贵，采样有限）至关重要
第二步：四种相似度函数的原理与取舍
| 函数 | 计算方式 | 测量什么 | 直觉 |
|---|---|---|---|
| Pixel MSE | $\|\hat{x} - x\|^2$ 逐像素平均 | 低级外观匹配 | "两张图叠在一起看，每个像素差多少" |
| Optical Flow MSE | 先提取光流场，再算 MSE | 运动模式一致性 | "物体移动的方向和速度是否一样" |
| DINOv2 MSE | 用 DINOv2 提取语义特征，再算 MSE | 高层语义对齐 | "物体类别、结构、关系是否一致" |
| V-JEPA2 MSE | 用 V-JEPA2 提取视频特征，再算 MSE | 视频级时空语义 | "整个动作序列的语义是否合理" |
关键实验发现（反直觉）：
Optical Flow 在奖励空间中区分成功/失败的 gap 最大（见第四节图），但下游任务成功率反而最低。Pixel MSE 区分度弱但效果最好。
原理解释：
- 对齐假说：Pixel MSE 与世界模型自己的训练目标（Flow Matching，也预测像素）天然对齐。世界模型的潜表征就是为像素预测优化的，用像素差做奖励意味着 actor 被引导去利用同样的表征——信号与内部几何一致
- OOD 惩罚效应：当 actor 产出偏离世界模型预测的激进动作时，像素差异急剧爆炸（因为世界模型没有"见过"这种动作的后果），产生极强负信号 → 天然正则化，防止策略走向不稳定区域
- Optical Flow 虽然区分度好，但它测量的运动模式与世界模型内部的像素预测目标不在同一个空间——奖励方向与模型表征的"自然梯度"不一致，优化效率反而差
第三步：策略梯度优化（REINFORCE）
逐符号解读（与 2.1.3 节的链路对接）：
- $\phi$：actor 的参数（注意和世界模型的 $\theta$ 区分——两个组件各有各的参数）
- $\pi_\phi(a_t|s_t)$：给定状态 $s_t$（当前观测），actor 输出动作 $a_t$ 的概率。由 Flow-SDE 的高斯转移公式计算
- $A_t$：优势函数——从重建奖励 $r_t$ 计算得出。非负的 $A_t$ 表示"这个动作让执行结果更接近想象"，应该被鼓励；负的 $A_t$ 表示"偏了"，应该被抑制
- $\nabla_\phi \log \pi_\phi \cdot A_t$：梯度 = (策略对参数的敏感度) × (这个动作的好坏)。如果 $A_t$ 大且为正，梯度大 → 参数大步往"多做这个动作"的方向调
- $\mathbb{E}[\cdot]$：对所有在线交互收集的轨迹取期望
注意：$A_t$ 这里不是 PPO 的 GAE（需要 critic 网络做 bootstrap），而是直接从重建奖励计算。论文没有详细说明 $A_t$ 的具体计算方式（可能是简单的 reward-to-go 或带 baseline 的 REINFORCE），但核心不依赖价值网络。
三、实验与结果
3.1 设置
- 架构基础：Genie Envisioner-ACT，世界模型为 DiT-based 视频生成器，actor 消费中间潜特征输出动作
- 硬件：8× NVIDIA A800 GPU，训练 8 小时
- Benchmark：
- LIBERO-Object：物体中心操控任务，强调组合泛化
- RLBench（Water Plants）：多步机器人技能任务
- Baseline：
- Base：预训练 WA 模型，无 RL
- $\pi_{\text{RL}}$：仅优化 actor 的 RL（不加世界模型优化）
3.2 主要结果
| 方法 | LIBERO-Object | RLBench (Water Plants) |
|---|---|---|
| Base | 68% | 19% |
| $\pi_{\text{RL}}$（actor-only） | 78% | 18% |
| WAM-RL (Ours) | 82% | 22% |
关键发现：
-
短时域任务（LIBERO-Object）：Actor-only RL（$\pi_{\text{RL}}$）从 68% 提升到 78%（+10%），说明优化 actor 本身对短时域任务是有效的。但 WAM-RL 的联合优化进一步提升到 82%（+4%），说明世界模型的改进即使在短时域也有增益。
-
长时域任务（RLBench Water Plants）：Actor-only RL 完全无效——$\pi_{\text{RL}}$ 的 18% 甚至略低于 Base 的 19%。这是因为在长时域下，actor 受世界模型预测精度的约束，累积预测误差无法仅靠优化 actor 来弥补。只有联合优化世界模型才能将成功率从 19% 提升到 22%。
-
恢复行为的涌现：在线视频 SFT 后的世界模型更频繁地生成恢复行为——例如抓取失败后预测重新调整夹爪、重新尝试抓取的动作。这种恢复动态的预测使得 actor 能执行更鲁棒的策略。
3.3 重建奖励消融
图 2：不同重建目标的归一化奖励分布。每个指标被归一化使成功奖励 = 1，失败奖励按比例缩放。误差棒 = 2× 标准差。Optical Flow 在成功/失败之间展现出最强的分离度，但其下游任务成功率反而不如 Pixel MSE。
| 方法 | RLBench 成功率 |
|---|---|
| Base | 19% |
| $\pi_{\text{RL}}$ | 18% |
| Pixel MSE | 21% |
| Optical Flow MSE | 19% |
| DINO MSE | 16% |
| V-JEPA2 | 17% |
核心洞察——奖励区分度 ≠ 优化有效性：
- Optical Flow：奖励空间中成功/失败的 gap 最大（图 2），区分度最强，但下游成功率仅 19%（与 Base 持平）。
- Pixel MSE：奖励区分度相对弱，但下游成功率最高（21%）。
论文解释：
- Pixel MSE 与世界模型的训练目标（预测视觉观测）对齐更好，因此奖励信号与模型内部表征更一致
- Pixel MSE 对 OOD 动作施加更强惩罚：当 actor 偏离世界模型预测时，像素差异急剧增大，起到了正则化效果
- 这表明：奖励信号的"与模型训练目标的一致性"比"成功/失败区分度"更重要
四、视频 SFT 定性分析
图 3：有无视频 SFT 在一个 action chunk 中的行为对比。上图：无视频 SFT，模型在初始错误后无法恢复，快速漂移为 OOD 行为。下图：有视频 SFT，模型学会预见失败并生成恢复动作，最终成功完成任务。
无视频 SFT（上图）：
- 抓取失败后，预测轨迹不包含纠正动作
- 沿错误路径持续漂移，最终进入 OOD 行为
- 世界模型缺乏对失败动态和恢复策略的建模能力
有视频 SFT（下图）：
- 初始失败后，预测轨迹包含纠正性调整
- 例如重新定位夹爪、重新尝试抓取
- 恢复行为在单个开环执行块内涌现——世界模型内化了失败模式及其纠正动作
这一定性对比直接说明了：视频 SFT 让世界模型不再假设理想执行，而是学会推理可能的偏差及纠正方式。
五、核心洞察与技术亮点
-
首次将 RL 引入 WA 范式：WAM-RL 是第一个在 World-Action 框架下实现强化学习的工作，提出联合优化世界模型和动作模型的训练策略。
-
关键发现：长时域任务必须联合优化：Actor-only RL 在短时域有效但在长时域失效——因为世界模型的累积预测误差是根本瓶颈。只有协同改进世界模型才能突破。
-
KL 正则化稳定潜空间：通过将确定性 DiT 特征高斯化 + KL 约束，在允许世界模型适应新数据的同时防止潜空间 abrupt shift，解决了联合训练的不稳定性。
-
重建奖励 vs 任务奖励：用"想象 vs 执行的一致性"（重建奖励）而非传统任务奖励来优化 actor——使 actor 忠实于世界模型的规划，而非追逐可能误导的稀疏任务信号。
-
奖励区分度悖论：实验揭示了"奖励区分度 ≠ 优化有效性"的反直觉现象——Optical Flow 区分度最高但效果差，Pixel MSE 区分度低但效果好。奖励信号与模型训练目标的一致性才是关键。
-
恢复行为涌现：视频 SFT 后世界模型内化了失败-恢复动态，单个 action chunk 内即可预测纠错动作，无需显式规划或额外推理。
六、局限性
-
KL 正则化的天花板：KL 约束在稳定训练的同时限制了世界模型的适应幅度——模型难以大幅超越预训练分布的能力边界，尤其在更大规模下这可能成为瓶颈。
-
重建奖励的判别力有限：当前奖励信号（Pixel MSE、Optical Flow 等）基于预训练表征或手工设计的相似度指标，成功/失败的对比度有限。论文建议未来探索更具表达力和任务感知的奖励形式。
-
任务覆盖面有限：仅在 LIBERO-Object 和 RLBench Water Plants 两个设定上评估，未测试更多样化的长时域操控任务和真实机器人场景。
-
计算成本高：8× A800 GPU 训练 8 小时——在线 RL + 视频 SFT 的混合训练对算力需求不低。
-
无代码开源：论文未提供代码实现，复现门槛较高。
-
未探索的维度：世界模型和 actor 的更新频率/比例、KL 系数的最优调度策略、更大规模下的 scaling 行为均未系统研究。
七、关键概念速查
| 概念 | 英文 | 简洁定义 |
|---|---|---|
| WA 模型 | World-Action Model | 联合建模未来观测和动作的视频生成式策略模型 |
| WAM-RL | WAM Reinforcement Learning | 首个将 RL 引入 WA 范式的框架，联合优化世界模型和 actor |
| Flow Matching | — | 学习向量场将噪声传输到数据的连续时间生成模型 |
| Flow-SDE | — | 在 Flow ODE 中注入布朗运动，使其支持随机探索和似然估计 |
| KL 正则化 | KL Regularization | 约束更新后世界模型的潜分布接近预训练模型，防止分布漂移 |
| 重建奖励 | Reconstruction Reward | 衡量世界模型预测与真实执行结果一致性的稠密奖励 |
| 在线视频 SFT | Online Video SFT | 用 RL 交互中收集的成功轨迹在线微调世界模型的视频预测能力 |
| 恢复行为 | Recovery Behavior | 世界模型在预测失败后自动生成纠错动作（如重新抓取）的能力 |
| $\mathcal{L}_{\text{WM}}$ | World Model Loss | $\mathcal{L}_{\text{video}} + \lambda_{\text{KL}}\mathcal{L}_{\text{KL}}$，世界模型的联合训练目标 |
| RL 算法 | RL Algorithm | REINFORCE 风格策略梯度，非 PPO/GRPO；Flow-SDE 提供 $\log \pi_\phi$，重建奖励提供 $A_t$ |
| Actor-only RL | — | 仅优化动作模型而固定世界模型的 RL 方法，长时域下失效 |