01 · 先理解 LLM 中的 RSI 与 TTT，再走向具身智能
要理解机器人为什么需要从经验中继续改进，先看语言模型部署后面临的问题。本节按 LLM 背景 → RSI 的系统改进 → TTT 的部署期学习 → 向具身智能迁移 → 研究脉络树 展开。先建立概念，再用它们组织机器人领域的论文；引用文献仅限 2026 年。
1.1 · LLM 是什么，部署后还缺少什么能力
LLM（Large Language Model，大语言模型） 把文本等输入编码为 token 序列，学习根据已有上下文预测后续 token。预训练赋予通用的语言、知识与模式识别能力；后训练使它更适合遵循指令、推理或使用工具。典型部署时，模型权重保持不变，变化的是当前输入、缓存和对话上下文。
当 LLM 被装进一个 agent 后，系统还包括提示词、工具接口、检索、记忆、任务拆解、测试与执行流程。这些围绕模型组织工作的代码和配置，经常称为 agent harness ，可以理解为“智能体运行框架”。因此，一个系统变好，既可能因为模型参数更好，也可能因为它更会调用工具、收集证据或检查答案。把所有改进都归因于底座模型，会看错研究对象。
静态部署有两个缺口。第一，新任务带来的经验常常只留在当前上下文，下一次仍会犯相似错误。第二，长文档、新领域和新环境持续到来，固定的上下文与固定的处理方式未必合适。RSI 与 TTT 分别从系统改进和部署期学习的角度处理这些缺口。
1.2 · LLM 中的 RSI：怎样把一次经验变成持续改进能力
RSI = Recursive Self-Improvement，递归自我改进。 在 LLM 研究中，可以先区分三个层次，避免把“递归”说得过大：
一个典型研究循环是：执行任务 → 收集失败证据 → 提出候选修改 → 在规定任务上验证 → 保留有效版本 → 用新版本处理下一轮任务。 “自我”不意味着没有人类定义目标、没有预训练数据、没有外部反馈；“递归”也不自动意味着无限加速或能力无限增长。
2026 年的 VERSE
1.3 · LLM 中的 TTT：为什么推理时还要更新参数
TTT = Test-Time Training，测试时训练。 “测试时”描述数据到达与评估的阶段；“训练”指确实发生了某种参数化更新。它不是把最终测试集随意当训练集，也不要求更新整个模型。TTT 可以只改少量 query、适配器或一个作为记忆的小网络。
在语言模型及相邻研究中，TTT 至少有三种常见用法：
2026 年 uTTT TTPO
TTT 与普通长上下文的关键区别： 普通注意力通常保存历史 token 的表示，再从中读取；fast-weight TTT 把经历写进一个小网络的参数，再调用这个小网络读取。后者的状态容量有上限，也可能遗忘或互相干扰。它解决的是历史存储与利用方式，不保证自动学会一个全新的技能。
到这里，可以区分两个关注点：RSI 关心系统如何反复改善自身能力及改进过程；TTT 关心新到达的数据如何在测试或部署阶段引起参数更新。 一个 RSI 系统可以把 TTT 作为改进手段；一个 TTT 记忆模块也可以只保存当前经历，并不自动构成递归自我改进。
1.4 · 为什么迁移到具身智能，又多了哪些难点
具身智能的输出会改变环境。机器人动作使杯子移动，新的图像又影响下一次动作，因此形成 观测—动作—新观测 的闭环。VLA（Vision-Language-Action，视觉—语言—动作模型）把视觉、语言指令和机器人状态映射为动作或一段动作序列；它是承载这些机制的一类策略底座。
例如“杯子放错位置”可能是四种不同问题：忘了杯子原来的位置、相机变化导致定位偏差、技能程序的顺序不对，或者现有策略从未练过这种局面。它们分别推动记忆、部署适应、技能改进与世界模型练习。先诊断能力缺口，再选择 RSI/TTT 机制，比先给系统贴一个“自进化”标签更有用。
有了这组对应关系，再看具身论文就能辨认它们的目标：ASPIRE、RoboRSI 重点讨论执行证据如何进入程序修复与技能积累；T³VF 讨论部署期的视觉适应；RoboTTT、T²Mem、TTT-RM 讨论历史怎样进入后续动作。接下来先用研究树定位这些方法，第 02 节展开路线，第 04 节再读具体架构。
1.5 · 用研究脉络树组织 2026 年具身文献
现在把上面的概念落到机器人面临的四类能力缺口：缺少历史、遇到分布偏移、不会复用失败经验、真实试错成本过高。研究树给出全篇地图，下一节分别展开四条路线，第 03 节再解释更新机制与数学符号。
四条分支可以组合：同一系统可以有 TTT 记忆，也有技能修复和世界模型。图中的排列给出阅读脉络，不表示论文之间存在未经证实的直接继承关系。
导读图｜2026 文献研究脉络树。机制示意 · 非实验测量图 接下来怎么读： 第 02—03 节建立路线与机制框架；第 04 节沿四条路线精读八篇论文，第 05 节补充前沿分支；第 06 节集中筛选基线、代码与两张 A100 内的可行阶段；第 07 节把第一组实验、结果判断和研究选题连成一条执行路径。通用 LLM 文献用于概念和稳定性参考，早期底座仅作为运行依赖。
02 · 四条研究路线：分别解决什么问题，怎样从经验中改进
四条路线分别对应缺历史、遇偏移、不会复用失败、真实试错太贵 。它们的共同主题是从经历中改进，但训练信号与验收方式不能互换。
A · 长历史记忆：让当前动作依赖真正需要的过去
问题。 当前图像本来就可能不足以决定动作。同样一幅“抽屉关闭”的图像，可能对应杯子在里面、杯子已被拿出、或根本没有放进去。若任务依赖这些差异，再强的单帧策略也缺少必要信息。记忆要补足隐藏任务状态，包括物体去向、操作顺序、失败尝试与人的示范方式。
机制。 典型路径是：编码当前观测 → 选择或压缩要保留的信息 → 更新情节状态 → 按当前问题读出历史 → 条件化动作头 。显式记忆存储可检索的帧/token；fast weights 把历史编码进网络参数。两者都会丢信息，只是丢失方式不同：前者会漏选或淘汰事件，后者会压缩、干扰或覆盖旧关联。
2026 年进展。 2026 年这条线可以沿三个问题阅读。RoboTTT：怎样把上下文扩长？ 它把跨时间处理放进 DiT 的 TTT 层，并配套长序列训练。T²Mem：记忆怎样被动作头真正使用？ 它在 VLM 与 action expert 之间设置观测驱动的记忆接口，保留直接视觉语言通路，并通过交替训练协调记忆与策略。TTT-RM：既然已有显式记忆，快权重还该记什么？ 它用训练期历史重建残差定义互补目标。RecastVLA 则进一步探索动作生成侧的持久状态。这是一组逐步细化的问题，而非简单的模型替代关系。
验证重点。 做实验时，要有当前帧、固定窗口、显式关键帧/检索、参数化记忆 等对照，并匹配 token、状态容量或推理时延预算。更有说服力的任务会把关键线索藏在很早的历史里，控制延迟和干扰事件，再检查记忆是否帮助动作，而不仅仅能否重建历史。LIBERO 一些任务可以用于工程起步，但验证长历史机制需要 RoboMME、RMBench 或明确设计的历史依赖任务。
资源边界。 这条线最容易误判的成本，是把“固定大小的在线状态”当成“训练轻量”。序列反向传播、外循环优化和数据组织仍可能很贵。两卡研究者可先检验一个小记忆模块与简单对照，不能把缩小版的机制实验称为完整复现 RoboTTT。RoboTTT · T²Mem · TTT-RM
B · 部署期适应：让策略跟上相机、场景与任务的变化
问题。 机器人也可能记得很清楚，却因为相机变了、光照变了或对象布局不同而动作失准。这是训练分布与当前环境不匹配 的问题。重点从“保留过去”变成“用眼前的证据调整处理方式”。
监督来源。 这里存在两类不同监督。T³VF 利用“曾经预测的未来图像”和“后来实际看到的图像”形成自监督对，只更新参与视觉预测的 query。PDF 则根据 episode 的终局反馈调整动作 logits 的小扰动头，并叠加输入增强与投票。前者没有把成功标签作为适应目标；后者确实需要环境成败反馈，不能因为不用预训练验证器就说完全无监督。
机制与进展。 这一类方法的逻辑可以拆成四步：产生可检验预测 → 等待证据到达 → 判断该不该更新 → 用更新后的模型继续控制 。核心困难是信用分配：未来图像不对，可能是视觉预测错，也可能是动作没执行好；任务失败，也可能由早期一次操作造成。T³VF 使用动作采样方差筛选片段；TTT-VLA 研究提示级适应；VANE 则把候选更新的验证与接纳放在突出位置。它们各自解决更新对象或更新时机的一部分问题，不是“损失降了，动作必然更好”的保证。
验证重点。 最实用的研究切口是选择性更新 ：同样的底座、同样的样本和前向次数下，无更新、每次更新、有筛选更新、可回退更新分别表现如何？视觉误差、成功率、最差任务退化、更新时间都要报告。若一个方法多采样了 K 次动作，冻结对照也应享有对应预算，才能区分“多算”与“学会”。
资源边界。 这条线与低算力最接近，因为可把更新限制在小模块；但 query 很小不等于反向图很小。对 T³VF，梯度仍需穿过冻结网络的相关路径；对 PDF，也仍需承担 VLA 前向和多视图推理。T³VF · PDF · TTT-VLA · VANE
C · 从失败到可复用能力：修改技能，或学会评价动作
问题。 一次抓取失败之后，只说“下次小心”不会形成稳定能力。这条路线追问：失败应改变哪个对象，才能让下一次任务少走弯路？ 2026 年的代表工作给出两种答案。
路径一：程序与技能层改进。 ASPIRE 让执行引擎暴露每个感知、规划、控制原语的证据，coding agent 据此修复程序，再把验证过的修复策略写入共享技能库。RoboRSI 把任务和技能组织为有责任边界的结构，定位失败分支，测试候选修改，并将稳定的组合发布为可复用能力。DynaHarness、RegenHarness 进一步强调执行契约、进度确认与可追溯的系统修订。这里最重要的资产，是能跨任务转移的修复知识与可靠接口。
路径二：价值学习。 Q-Planning 冻结行为克隆策略，让它继续生成候选动作；独立的 Q 网络学习评估这些候选。成功和失败轨迹都进入回放，因为失败也能告诉价值模型“这个状态下这样做不值得”。后续动作改善，可以来自 Q 更会利用原策略已有的候选能力，而无需重训整个策略。
能力边界。 两种答案的能力边界不同。程序修复能改变动作原语的组合、条件与参数；Q 引导更依赖底座候选的覆盖面——如果正确行为几乎从不被生成，评价器也难以凭空创造它。两者也可以组合，例如技能系统为底层策略提供新的子目标，价值模型辅助选择；但组合是否有增益必须另做消融。
验证与资源。 这条线的评测应看被保留下来的版本能否泛化 。技能库变大、累计解决过更多任务，不等于冻结版本在新初态上更可靠。至少比较无技能复用、仅提示反思、验证后技能复用，以及相同交互预算；Q-Planning 则比较冻结 BC、固定 Q 引导、在线更新 Q 和相同候选预算的选择方式。外部 coding model 的 token、复位、感知服务和规划时间也属于实验资源。ASPIRE · RoboRSI · Q-Planning
D · 用世界模型或局部仿真降低练习成本
问题。 真正的机器人练一次，就要花实际时间；失败后常要复位，场景和设备还会变化。因此，这条路线想把部分试错搬进模型或仿真。它与前三条可以互补，但首先要回答：替代环境保留了哪些与动作成败相关的因果关系？
2026 年进展。 RISE 采用组合式世界模型。动力学模块根据当前多视角观测和候选动作生成未来观测，价值模块评价这些未来，再把得到的 advantage 用于策略改进。世界模型不是仅用于做一段好看的演示视频，而是成为训练过程里的交互环境和反馈来源。RIWANav 进一步研究世界模型与导航策略的适配关系；F4R、EmbodiRSI 则沿真机失败到局部仿真的方向，把具体失败场景转成更便宜的练习对象。生成式想象与显式仿真是不同技术路线，不宜混作一种实现。
机制。 一般流程是：从真实经验建立或校准替代环境 → 在替代环境生成候选经历 → 评价并更新策略 → 回真实环境验收 → 用新失败继续修正 。这段文字描述的是研究范式，并不意味着每篇论文都实现了整个闭环。特别是 RISE，想象用于策略训练，真实部署时并不再运行完整世界模型。
验证重点。 这里有三层误差。动力学可能把本应滑落的物体预测成抓稳；价值模型可能把“看起来接近目标”当作成功；策略经过多轮优化后可能专门利用这两种错误。生成质量指标、价值校准和真实闭环成功率因此必须分别检查。限制想象长度、保留真实数据、覆盖失败样本、最后做独立真机评估，分别约束不同的误差来源。
资源边界。 两卡研究的合理切口，是使用已有组件研究短时域、单任务或局部适配，明确它属于缩减实验。RISE 的完整多阶段训练远超两卡；“最终部署没有额外世界模型开销”，只说明推理阶段的成本，不能用于证明训练便宜。RISE · RIWANav · F4R · EmbodiRSI
四条路线怎样合在一个系统里
设机器人取杯失败：记忆模块恢复杯子的原位置，适应模块修正当前视觉偏差，技能模块改变抓取前的准备步骤，世界模型提供低成本的候选练习。它们可能协同，也可能彼此放大错误。因而真正的共同验收线是：固定可用信息和资源后，下一次独立执行是否更好，旧能力是否保住，收益来自哪个模块。
读到这里，应能先判断一篇方法在解决哪种能力缺口。下一节再拆开“更新”这个词，解释状态、参数与动作之间的关系；这会为第 04 节的原图阅读提供统一语言。
03 · 读懂更新机制：状态、参数、记忆与动作
四条路线更新的对象不同：程序修复、价值学习和快权重记忆，不能用同一条梯度公式概括。本节先区分这些变化，再以 fast-weight TTT 记忆 为例解释每个符号。这里的目的，是让你能在论文图中指出“哪里在变，变化怎样影响动作”。
从“把杯子放回去”这个例子开始
机器人看见杯子在桌面左侧，随后把它移进抽屉。现在相机只看见关上的抽屉，指令是“把杯子放回原处”。当前图像不足以决定动作：它需要知道杯子在哪里、原来在哪里、已执行哪些步骤。
保留关键帧，是显式记忆 ；用循环网络更新一个向量，是状态记忆 ；用梯度更新一个小网络的权重来保存历史，是 fast-weight TTT 记忆 。如果新相机使视觉预测失准，在线调整 query，是部署适应 ；发现“抽屉没拉开就抓取”的程序错误，修改并保存技能，则是系统层自我改进 。
图 1｜用更新对象理解 RSI 与 TTT 的交集。机制示意 · 非实验测量图 公式前，先认识“慢参数、快权重、记忆读出、动作”
θ 是长期学到的能力，Wₜ 是这段经历形成的快速状态，mₜ 是本次从状态中读出的信息，aₜ 才是机器人准备执行的动作。 mₜ 与 aₜ 不是同一个量；Wₜ 与 mₜ 也不是同一个量。可以类比为“笔记本的内容”“本次查出的线索”“据线索做出的操作”，但实际保存和读取的是向量与网络参数。
下面是便于阅读的先写后读 示意，依据 RoboTTT 和 TTT-RM 的常见表述整理。它不是八篇论文共用的实现。符号也以本节约定为准；例如 RoboTTT 原文另用 qₜ 表示本体状态，而本节用 qₜ 表示记忆查询，阅读原图时须对照该文定义。
① 编码与生成读写接口W = Wₜ₋₁ Wₜ (qₜ)
以常见单臂控制为例，aₜ 可以包含末端位置/姿态的变化量与夹爪开合，共七个维度；也可以是关节目标或其他控制表示，必须以底座定义为准。记忆 mₜ 没有必要也是七维，更不会直接拿去控制电机。 它先影响动作头，动作头才产生符合机器人控制接口的输出。
一次梯度写入，为什么既可以“训练”又可以“记忆”
第 ② 步只问“小网络能否把 kₜ 映射到 vₜ”，不直接问“机械臂应该向左还是向右”。但外循环在训练期用动作任务教会编码器和读写接口：什么内容值得写、应该怎样读、读出后如何帮助控制。于是，部署期的自监督小更新可以承担记忆功能。
内循环 更新当前经历的 W；外循环 跨训练轨迹学习 θ、读写映射、W₀ 或更新规则。外循环往往仍需要动作演示和昂贵的序列训练。因此，“测试时无需专家标签”与“训练成本很大”完全可以同时成立。
还有两个容易混淆的细节。第一，T²Mem 明确采用先读后写 ：用当前 Wₜ 读出，再写成 Wₜ₊₁；不能拿上面的先写后读示意逐行代替它。第二，T³VF 中的可学习 query tokens q，是测试时被优化的一组输入参数；上表的 qₜ 则是快速记忆的读取向量。名字相同，不代表同一个更新对象。RoboTTT §2—3 · T²Mem §3 · TTT-RM §3—4
下面进入八篇精读。它们按 A—D 路线排列；每篇先建立问题直觉，再解读论文原图，随后用中文流程图梳理执行顺序，最后拆开训练、推理和监督来源。
04 · 八篇必读：训练、推理、loss 与有效机制逐篇拆解
本节按 A 记忆 → B 适应 → C 能力积累 → D 世界模型练习 阅读。每篇按 问题引入 → 论文原图与模块解读 → 中文执行流程 → 训练、loss、推理与有效机制 → 证据与复现 展开。先从作者原图认识模块和信息流，再借助中文流程图理解哪些步骤离线进行、哪些在部署中发生，最后逐项解释细节。八张中文流程图默认展开，11 张论文原图保留并可点击放大。文中的“教学例子”用于解释机制，不是论文新增的实验结果。
读 loss，只抓住四件事：谁在预测、目标是什么、目标从哪里来、梯度改谁。 例如，“记住看到的杯子”与“学会怎样抓杯子”需要不同监督；终局成功标签也无法直接告诉机器人每一步正确动作是什么。
几个公式约定。 L 表示要减小的损失；‖预测−目标‖²表示平方误差；E 表示对训练样本和随机噪声取平均；η 是更新步长；∇ 是“怎样改参数才能降低损失”的梯度。sg 或 stop-gradient 表示把这一项当固定目标。冻结参数仍可能允许梯度穿过该网络传到输入，不能据此推断反向传播没有开销。小写 a 是单步动作，大写 A 是动作块；不同论文的 flow 时间方向可能相反，下面各自解释。
发表信息口径。 标题下同时标注发表去向与 arXiv 首发年月；会议月份与首发月份分开。无可靠正式发表证据的标为 arXiv 。已录用但会议尚未举行的单独说明。状态补核截至 2026-10-10 ，所解读的方法版本固定，不将新录用信息当成方法版本更新。
1 · RoboTTT 2 · TTT-RM 3 · T³VF 4 · PDF 5 · ASPIRE 6 · RoboRSI 7 · Q-Planning 8 · RISE ① RoboTTT：先学会“怎么记”，部署时才能用梯度写记忆
A · 长历史记忆
从一个问题开始。 机器人刚刚把零件放进盒子，盖上盖子后又被要求取回。当前图像看不出零件在哪。RoboTTT 给动作模型加入一个小型神经网络，过去的信息通过梯度更新写进它的权重 W；以后用一个查询向量把相关线索读出来。W 在这里兼任记忆状态。
先看论文原图：注意力、记忆与动作怎样连接
论文原图 · RoboTTT · 原文 Fig. 2 · 论文与图注 作者原图 · 点击放大查看细节 沿左图看 VLM／State／Action Encoder → 单步 Attention → 跨时间 TTT → 动作监督 ：注意力处理本时刻，TTT 承接过去。少量 register tokens 搬运视觉语言信息，避免把全部视觉 token 都送进快权重。图中不同颜色动作块对应独立噪声水平；右图的 Propagate Fast Weights 对应部署时保留快权重记忆 W。雪花冻结的是慢参数，梯度符号对应记忆写入。下文将把这两类更新拆成内循环写入与外循环训练。Fig. 2、§2—3、训练附录
再看中文流程：把架构展开成执行顺序
原图把结构与更新机制放在一起。下面按“离线学会读写 → 在线写入和读取 → 生成动作”拆开，重点区分快权重 W 和离线学习的慢参数。
图 2｜RoboTTT：训练读写规则，部署更新记忆。机制示意 · 非实验测量图 1 · 训练：用演示教会“写什么、读什么、怎么用”
输入一段有时间顺序的轨迹。 每步有图像、指令、本体状态和示范动作块。每条新训练轨迹从学到的初始记忆 W₀ 开始。逐步做内循环。 当前 token 产生 key、value、query。小网络拟合 key→value，更新 W；随后读取记忆，交给动作头。这里的 value 是网络特征，不是“正确抓取动作”。计算外循环动作 loss。 给示范动作加噪，让动作头根据当前观测和记忆预测去噪方向。动作预测不准，就更新读写映射、门控、W₀ 等长期参数，使“前面怎样记”更有助于“后面怎样做”。分阶段训练，控制长序列开销。 预训练冻结原底座、训练新增序列模块；任务后训练再微调全模型。长轨迹分段反传：段间继续传递 W 的数值，但切断跨段梯度，这就是截断 BPTT。
2 · 两个 loss 各负责什么
内循环：把当前特征写入记忆 W (kₜ) − vₜ‖²W Lwrite；mₜ = fWₜ (qₜ)外循环：让记忆帮助生成正确动作 τ = τ Aₜ + (1−τ) ετ , τ; Wₜ₋₁) − (Aₜ−ε)‖²
第一组中，f 是记忆小网络，kₜ、vₜ、qₜ 分别是写入地址、写入内容和读取查询，mₜ 是读出的历史表示。第二组中，Aₜ 是真实示范动作块 ，ε 是随机高斯噪声，τ∈[0,1] 是数据占比，uθ 是动作头预测的向量。它学习从噪声走向示范动作的方向 Aₜ−ε；Wₜ₋₁ 是进入本步的记忆，写入在模块内部发生。上式省略多层 token 和轨迹平均，保留原文目标含义。
为什么不直接回归 Aₜ？ flow matching 训练的是一个生成过程：在噪声与真实动作之间抽取一个位置，教模型往哪个方向走；部署时从噪声出发，积分数步生成动作。每个动作块独立采样 τ，是论文的 sequence action forcing。部署时没有示范 Aₜ，因此不会计算这个动作监督 loss；仍能计算的是特征关联的写入 loss。
3 · 推理：慢参数固定，快权重随经历变化
新 episode 重置到 W₀ → 编码当前观测 → TTT 层更新并读取快权重 → 动作头经多步去噪生成动作块 → 执行并获得下一次观测 → 带着 W 继续。前向过程中存在记忆梯度更新，但没有在线更新整套底座，也无需每步索取专家动作。跨 episode 保留 W 属于另一种协议，不能默认为原方法。
4 · 为什么可能有效：离线监督把“记忆”与“控制”接起来
教学例子： 第一次夹取落空，历史记录夹爪闭合但物体仍留在原处；后面应调整再抓。仅把失败写入 W，并不会自动知道如何纠错。论文的 DAgger Distillation 在训练时把失败和人类纠正都写入历史，却只在人类纠正处计算动作 loss。这样，模型才有机会学到“这种失败历史应该引出那种修正”。人类视频也可只写记忆，不算动作 loss，再由配对机器人轨迹教会如何使用视频线索。
固定大小 W 让在线存储不必随全历史增长；接近零初始化的门控使新增分支逐渐接入已有动作能力。代价是有限容量、可能覆盖旧线索，并且需要预先学好读写机制。写入误差降低，只证明小网络更好地拟合了特征，不能单独证明机器人动作变好了。
证据与复现。 原装配主指标包含阶段完成分，“整体提升 87%”不是成功率增加 87 个百分点。预训练 16×GB200、后训练 8×GB200；RTX 5090 的 30Hz 是部署指标。尚未确认完整官方训练资产，第三方 robo_ttt 不能等同原论文复现。最有解释力的对照是禁写、重置或打乱历史，检查性能是否真的依赖记忆。
② TTT-RM：记忆容量有限，就学着补“已有上下文解释不了的部分”
A · 长历史记忆
从一个问题开始。 当前图像已经能看清桌面，显式记忆还保留着几张关键帧。快权重应该继续存这些重复信息，还是优先补上杯子最初放在哪里？TTT-RM 的答案是：先估计已有上下文能够解释的历史，再训练另一条记忆通路补充其余部分。
先看两张论文原图：从记忆接口到残差记忆
论文原图 · T²Mem · 原文 Fig. 2 · 论文与图注 作者原图 · 点击放大查看细节 T²Mem 图中，VLM 到 Action Expert（AE）的直接通路保留；新增接口从视觉语言特征提取摘要，查询快权重记忆 W，再把历史读出融合回 AE。图 (c) 的读写顺序对应“先使用旧记忆，再写入当前观察”。把 memory 放到模型中间只是结构，交替训练才让它成为动作专家能使用的信息。
论文原图 · TTT-RM · 原文 Fig. 2 · 论文与图注 作者原图 · 点击放大查看细节 TTT-RM 图中，黑线是当前输入，绿线是 Explicit Memory，下方是 Writer→fast weights→Residual Memory。橙色虚线和 History Decoder 对应训练监督；上线后这些监督连线消失，三条信息路径仍保留。沿图核对：视觉流驱动内循环，历史残差塑造外循环，动作专家消费读出。 TTT-RM Fig. 2 与 §4
再看中文流程：把架构展开成执行顺序
接下来把两种时间尺度拆开：训练期用历史残差教会读写接口，部署期用视觉特征更新快权重。历史残差不会在每次在线写入时重新计算。
图 3｜TTT-RM：先学补什么，再在线写记忆。机制示意 · 非实验测量图 1 · 训练：先训练一位“检查信息缺口的老师”
训练历史解码器 D，再冻结它。 从完整训练轨迹取一个过去位置的视觉特征 y，让 D 根据当前观测、有限显式记忆与历史地址重建它，得到 ŷ。训练完成后，D 的能力固定，成为衡量缺口的参照。定义缺口 r = y−ŷ。 这不是像素残差，而是历史特征残差。完整训练轨迹提供 y；部署时无需再拿完整历史当标签。训练新增残差记忆模块。 逐帧更新 W，并查询历史地址；要求读出补足 r，同时帮助动作预测。此阶段冻结原有显式记忆和动作策略，只训练新增读写器、W₀ 与适配器。联合微调。 再放开原有策略的可训练部分，让显式记忆、残差记忆和动作专家配合。冻结的视觉编码器与历史目标投影保持固定，D 也继续固定。
2 · 三类训练目标：各在不同位置起作用
第一阶段：训练历史解码器 每步内循环：视觉特征写入 W W (k) − [sg(v)−k]‖²W Lwrite后续外循环：读出补缺口，同时学动作 W (q) − fW₀ (q)
y 是冻结视觉特征经固定投影后的历史目标，ŷ 是解码器重建；k、v 来自当前 视觉写入对，v 是当前投影特征。q 是带历史地址的查询；δ 是当前快权重相对初始 W₀ 多提供的读出。减去初始读出，使监督关注本 episode 新积累的信息 。Laction 是演示动作的 flow-matching loss，λ 决定残差监督的权重。
这里有两个不同的减法。 写入的 v−k 是小网络的残差式参数化；外循环的 y−ŷ 才是“已有上下文解释不了的历史”。不能把二者合并成“测试时计算历史重建误差并直接写入”。训练中，外循环梯度穿过写入步骤，教会慢参数怎样让未来读出符合 r；部署时只保留学好的规则。
3 · 推理：移除老师，靠已经学会的规则工作
新 episode 重置 W₀ → 当前视觉特征更新显式记忆并执行一次快权重写入 → 查询残差记忆 → 当前观测、显式记忆和 δ 一起供动作专家生成动作 → 执行并继续。历史解码器 D 被删除，Ldecoder 与 Lresidual 都不在部署中计算。 每次策略调用只写一次，同一动作块的多个 flow 积分步骤复用这个 W，避免重复写同一观测。
4 · 为什么可能有效，以及 T²Mem 补上哪块理解
教学例子： 显式关键帧已保留杯子的颜色，当前画面能看清抽屉是否打开，真正丢失的是杯子最初位置。若 D 已能恢复颜色，颜色对应的残差较小；位置恢复不出，相关残差较大。外循环因此鼓励快权重把容量用在补充信息上。动作 loss 再要求这些线索对控制有用。残差也可能包含噪声，所以“重建不了”不等于“一定值得记”。
T²Mem 则更集中解决记忆与动作专家如何合作 ：先训练无记忆策略；随后交替进行“冻结动作专家、训练记忆”和“冻结记忆慢参数、训练策略”。两阶段都用演示动作的 flow-matching loss；每条轨迹内部仍用 key–value 平方误差更新 W。冻结动作专家时，梯度仍穿过它去训练记忆接口；冻结记忆慢参数时，W 仍会变化。部署采用先读后写 ，新写入影响后续决策，episode 开始重置。它没有 TTT-RM 的历史解码器／残差监督。T²Mem §3 与训练附录
证据与复现。 T²Mem 在其 RoboMME 设置中，平均成功率从无记忆的 17.93% 到 56.83%；这是配对论文的结果，不是 TTT-RM 的数字。验证 TTT-RM 应比较 EM、EM+普通 TTT、EM+残差 TTT，并做禁写／重置消融。两篇均未建立完整训练在两张 A100 内复现的证据链。
③ T³VF：未来图像到达后，只调整视觉 query
B · 部署期适应
从一个问题开始。 换一盏灯后，模型对“夹起杯子后会看到什么”的预测偏了，依赖这些视觉表示的动作也可能跟着偏。机器人没有专家告诉它正确动作，但过一会儿就能拍到真实未来图像。T³VF 用这张迟到的图，调整模型内部少量可学习 query，使视觉预测更适合当前环境。
先看论文原图：视觉预测怎样获得在线监督
论文原图 · T³VF · 原文 Fig. 2 · 论文与图注 作者原图 · 点击放大查看细节 上半图是 VF-VLA：输入→Backbone→图像／动作隐藏表示→两个头。下半图左路等待真实未来构成监督，右路通过动作方差判断是否接纳；Update Model 在论文设定中是更新视觉 query q 。这张图表达的是“用未来观测监督视觉生成任务”，不意味着运行时必须保留一张预测图片的完整梯度图。Fig. 2、§3 与算法
再看中文流程：把架构展开成执行顺序
沿时间读下面的流程：先行动，等真实未来图像到达，再筛选样本并更新视觉 query。更新只能影响后续动作。
图 4｜T³VF：先执行，等未来观测，再更新 q。机制示意 · 非实验测量图 1 · 离线训练：底座必须先具备视觉预见与动作能力
底座 Mantis 同时读取图像和指令，形成视觉预见表示与动作表示；动作表示受视觉预见路径影响。训练数据给出未来图像和示范动作，因此可同时训练两件事：预测未来视觉 和生成示范动作 。论文写成 Ltrain = Limg + λLact，λ 平衡两类目标。代码的图像分支使用潜空间 flow matching；动作分支对加噪示范动作预测噪声，以均方误差训练。T³VF 是部署期适应方法，需要这个已训练底座作为起点。
2 · 测试时的 loss：目标来自实际拍到的未来
论文用 Limg(预测未来, 实际未来)概括目标，但实现不是把两张已解码图片逐像素相减。所核对代码的过程是：真实未来图像 → 冻结 VAE 编码 → 潜变量加噪 → 在过去观测的条件下预测 flow 向量 → 均方误差 。
z = VAE(真实未来图像 oₜ₊ₙ)σ = (1−σ) z + σ εσ , σ; cθ(oₜ, ℓ, q)) − (ε−z)‖²q LTTT
z 是真实未来图像的潜表示，ε 是同形状高斯噪声，σ 是噪声占比；cθ 是由过去观测 oₜ、指令 ℓ 和 query q 生成的视觉条件，gθ 是冻结的图像生成网络。预测目标 ε−z 与 RoboTTT 的符号方向不同，因为这里把时间定义为噪声占比。训练时回归这个向量，生成时沿反方向去噪。θ 保持固定，梯度穿过 gθ 和 cθ，只用于调整 q。
用一个数理解平方误差。 若某个潜维度 z=0.6、ε=0.1，目标就是 −0.5；预测 −0.2 时，该维损失为 (−0.2+0.5)²=0.09。梯度会推动 q，使网络在相同条件下预测得更接近目标。这只是算术例子，不能解释成机器人应移动 −0.5 米。固定提交中的实际 loss
3 · 推理与在线更新：先行动，等未来，再学习
episode 开始恢复 query 与优化器状态。 当前图像和指令进入冻结主体，生成动作；记录当前输入、时间间隔等配对信息。同一状态采样 K 组动作，算分歧。 方差小于近期方差的 ρ 分位阈值，才将本时刻标为可用监督。ρ 是接纳比例相关的阈值参数，K 是采样数；低方差只表示模型的动作样本彼此较一致。执行并等待 n 步。 真正获得 oₜ₊ₙ 后，才能把过去输入与这个未来目标配成训练样本。被接纳的样本进入学习 batch；所有方差值都进入统计缓存，二者不是同一个 buffer。凑够一批后更新一次 q。 用过去输入重新前向计算可微 loss，再反传。新 q 影响之后的决策，不能倒过来改写已经执行的动作。
4 · 为什么可能有效：视觉和动作之间要有真实联系
教学例子： 照明偏移使杯子的未来外观预测失准。q 调整后，视觉条件更适合新照明；由于动作生成使用相关视觉表示，控制也可能改善。这个因果链依赖底座的视觉—动作耦合，不是“任何视觉 loss 下降都会提升成功率”。
筛选试图减少另一种错误：模型想象杯子已拿起，但夹爪实际上打滑。这时图像不一致可能来自执行失败，贸然把它当视觉误差会误修模型。动作低方差是一种代理判断；模型也可能一致地做错，所以筛选没有提供正确性保证。
实现核对。 本次还核对了代码提交 b606df7：优化器接收整个 embedding 表，之后用梯度 mask 限制 query 行。梯度置零不自动阻止 AdamW 的权重衰减改变其他行 ，因此复现时应检查非 query 参数和跨 episode 重置，而不是只看注释“只更新 q”。小 query 也仍需完整视觉反向路径的激活；本次未运行 GPU 验证。
证据与复现。 先做扰动训练时，平均成功率 49.3%→52.1%；直接用原始权重时为 39.8%→40.3%。两者前置成本不同，不能混用。建议比较同 K 冻结组、无筛选 TTT、有筛选 TTT，同时检查视觉 loss 与闭环成功率。双卡可行性仍待测完整反向峰值。
④ PDF：一轮结束后，用成功反馈微调动作分布的小修正头
B · 部署期适应
从一个问题开始。 OpenVLA 对某个动作 token 很自信，但执行会失败。PDF 保留底座，只添加小头 Pψ，在底座 logits 上加修正；同一观测做多种增强，候选投票后执行。等一整轮结束，终局反馈再训练 Pψ。投票产生即时决策，梯度更新帮助后续轮次，是两件事。
先看论文原图：每步执行与每轮更新的分工
论文原图 · PDF · 原文 Fig. 3 · 论文与图注 作者原图 · 点击放大查看细节 左半图中，原图与增强视图→多模态特征→LM Head 与 P Head 相加→候选投票；右半图的 Delayed Feedback-Guided Adaptation 只在一轮结束后计算 loss、更新 P Head。冻结图标针对底座；缓存连到优化器不意味着重新反传整个视觉编码器。图上的动态增强预算是论文设计，当前代码使用固定预算，且增强轨迹失败后还可能做回退尝试。Fig. 3 与 §3
再看中文流程：把架构展开成执行顺序
下面把每步的“增强—投票—执行”和每轮结束的“反馈—更新小头”分开，再分别说明前向决策与梯度学习。
图 5｜PDF：一轮内只执行，一轮后再训练小头。机制示意 · 非实验测量图 1 · 起点与推理：先运行一轮，此时还没有反馈
加载已有 OpenVLA 权重，接入扰动头。每次观测经原图／增强视图编码得到特征 h，冻结 LM Head 输出原 logits z，扰动头输出修正：
z′ = z + α Pψ(h)
ψ 是可训练小头参数，α 是修正强度，πψ 是修正后的动作 token 概率；logits 是归一化前分数，不能直接作为电机命令。解码成候选动作并投票，执行结果继续改变下一步观测。一次 rollout 中小头参数也保持不变 ；特征和所选动作 token 被缓存，直到终局反馈可用。
2 · 在线训练：冻结特征，只更新小头
episode 结束，得到反馈 r；LIBERO 中可取成功 1、失败 0。用基线 b 判断是否好于近期水平，得到 Δ=r−b。
从缓存取特征 h 与该轨迹选中的动作 token a。底座特征无梯度，重新计算当前小头下的动作概率。
用反馈加权的负对数概率，鼓励重复表现好的动作；再用 KL 项限制分布偏离。仅更新 ψ，下一轮继续使用它。
发布代码的有效更新分支（Δ > 0）
πbase 是冻结底座的动作分布，β 是 KL 权重。第一项的目标 token 来自已执行轨迹自身的选择 ，不是新增专家标签。成功反馈只为这些选择提供一个整轮权重，没有精确指出哪一步导致成功。KL 衡量两个概率分布的差异，拉住小头以免一次更新偏离太远。
教学例子： r=1、b=0.5，则 Δ=0.5；某个已选 token 的概率从 0.2 提高到 0.4，第一项从 −0.5log0.2≈0.805 降到约0.458。优化有动力提高它的概率，但 KL 会对过大偏移收费。若 r=0 且 Δ≤0，当前代码不会沿这套 loss 做负反馈更新。
论文描述的是 REINFORCE 风格项加正反馈门控的 KL；公式中的概率下标与“只训练 P Head”的文字不完全对齐。上式按本次核对的固定代码提交 992756c 重写符号，明确可微的是修正后 πψ。因此不要据论文一句“利用成败反馈”，就认定发布版同时从失败做梯度学习。 方法 §3 · 实际优化函数
3 · 为什么可能有效：更稳的候选与反馈更新各有贡献
增强投票让决策不只依赖一份输入外观；小头把有限调整集中在动作 token 分布；正反馈提升成功轨迹的动作倾向，KL 保留底座先验。底座特征可以缓存，因此反传不必经过整个 VLA，这是低适配成本的重要来源。
边界也直接由机制决定：没有成功样本时，发布版几乎无法有效更新；终局反馈粗糙，可能把成功轨迹中的偶然动作一起强化；投票依赖增强是否保留任务含义。成功率提升仍需拆成“更多前向与投票”和“真正学到了修正”两部分检验。
证据与复现。 小头约 9M 参数，论文使用单 V100 32GB，是本文最明确的两卡内适配候选；平均成功率约 0.69→0.77。主实验应统一为单次尝试，比较 plain、vote、冻结随机小头、在线学习小头，并记录真正发生的更新次数。默认脚本包含回退，不能直接当作四组公平比较的最终配置。
⑤ ASPIRE：没有神经网络 loss，也能让下一次编程更有经验
C · 从失败到可复用能力
从一个问题开始。 机器人已经找到桌上的收音机，却连续导航失败。只告诉 LLM“失败了”，它可能反复修改感知提示。ASPIRE 把每个原语的输入输出、返回状态与关键帧暴露给 coding agent，让它定位规划故障、修改程序、重新执行；有效修复再整理成其他任务可检索的技能。
先看论文原图：执行证据、程序修复与技能库
论文原图 · ASPIRE · 原文 Fig. 1 · 论文与图注 作者原图 · 点击放大查看细节 左侧 Robot Execution Engine 是证据来源；中间橙色 Programs 箭头送去候选程序，蓝色 Multimodal Traces 箭头带回结果。右上 Coordinator／Actor 分工管理与执行；右侧 Iterative Debugging 修局部，Evolutionary Search 换候选。下方 Skill Library 才是跨任务持续积累的存储。图里的 π₀、π₁ 是候选程序，不能读成对名为 π₀ 的 VLA 做微调。技能条目也不都等于可直接调用的函数。Fig. 1 与 §2
再看中文流程：把架构展开成执行顺序
再把模块连接展开为执行循环：程序被提出、运行、修复和验证，经验最后进入技能库。下面每一步都追踪代码或知识发生了什么改变。
图 6｜ASPIRE：执行证据变成可检索的修复知识。机制示意 · 非实验测量图 1 · 这里的“训练阶段”实际上是程序开发与经验积累
ASPIRE 使用已有 coding model 和机器人原语。方法核心不对 coding model 权重做梯度训练，而是让系统在开发任务上重复以下流程：
读取任务和已有技能，提出程序。 Coordinator 分配任务，Actor 编写调用感知、规划、抓取 API 的可执行代码。运行程序，拿到细粒度证据。 执行引擎记录调用名称、输入输出、状态和调用前后关键帧。模型按需查看故障附近的证据，避免只读一句总失败或塞满整段视频。定位问题并写候选修改。 局部调试修当前程序；进化搜索另生成多个候选策略，防止在错误路线中反复打补丁。执行候选并选择。 算法利用上一轮表现较好的程序和残余失败 trace 产生下一轮候选；达到开发成功阈值或耗尽预算后停止搜索，再在留出配置检查。提炼可复用经验。 Coordinator 只把经过验证、符合接口约束的可迁移模式加入技能库；后续 Actor 检索它作为上下文指导。
2 · loss 是什么？这里没有对 LLM 求梯度的 loss
可以把它理解为有执行反馈的程序搜索 。任务分数负责“哪版更好”，trace 帮助“下一版该怎么改”。即使为了统计把失败率写成一个要降低的数，算法也没有因此变成对 LLM 参数进行梯度下降。采样多份代码、淘汰差方案、保留知识，就是这篇的更新算子。
3 · 新任务到来时，推理怎样运行
任务＋观测 → 检索适用技能 → coding agent 组合程序 → 执行机器人 API → 根据证据继续决策。若允许开发式调试，可进入上面的修复与验证循环；若测跨任务迁移，则应固定已积累技能库，在新任务上使用它，明确是否允许额外重试和技能写回。生成这次的任务程序，与把新经验永久加入公共技能库，是两个不同动作。
4 · 为什么可能有效：把“失败了”变成可以动手改的原因
论文的收音机例子中，感知已经找到目标，navigate_to_pose 却返回规划错误；目标姿态落在桌边碰撞缓冲区内。系统提出从多个角度接近，再重新感知和抓取。经执行验证后，保存的是“这类碰撞错误下尝试多角度接近”的模式，而非只适用于这一台收音机的完整程序。§2、Fig. 2—3、Algorithm 1
这个例子说明三条因果关系：细粒度 trace 减少盲目修改；多候选搜索提供替代策略；带适用条件的经验减少下一任务重复试错。若 trace 本身错误，或验证只覆盖一个布局，系统仍可能保存错误诊断或过拟合程序。技能库变大也不自动意味着检索更准。
证据与复现。 特定消融中 LIBERO-Pro 宏平均从基础系统 14% 到加入执行引擎 62%，再到完整组合 72%，说明证据接口是重要贡献。完整 Quick Start 为 8 GPU 加外部模型 API，不属于两卡即用方案。公平比较要固定 coding model、调用和重试预算，分别去掉 trace、进化搜索和技能持久化，才能说明是哪一环节在起作用。
⑥ RoboRSI：先找到最早失职的技能，再验证补丁会不会破坏旧能力
C · 从失败到可复用能力
从一个问题开始。 “收拾桌面”失败，可能是任务分解有误、物体没抓住，也可能是放置技能到达目标后没有松手。若每次都重写总提示，修复范围会越来越大。RoboRSI 把任务、原子目标、原子／复合／基础技能组织成层次，沿执行路径检查责任，并只在相关子树内修订。
先看论文原图：执行、修订与发布的边界
论文原图 · RoboRSI · 原文 Fig. 2 · 论文与图注 作者原图 · 点击放大查看细节 按 ①任务输入→②角色协作→③技能执行→④证据与修订→⑤验证发布→⑥复用阅读。蓝线是本轮执行，橙色虚线是候选修改，绿色虚线才是进入下一轮的已发布能力。⑤里并列的 Code skill／Learned policy ，对应两种能力载体；不能把二者误合成一条每步在线训练策略的链。Fig. 2 与 §3
再看中文流程：把架构展开成执行顺序
再沿一次失败展开：谁负责这次错误、允许改哪里、怎样验证，以及何时才把修改交给后续任务使用。
图 7｜RoboRSI：把候选修订与正式发布分开。机制示意 · 非实验测量图 1 · 系统改进：执行—归因—局部修改—验证—发布
执行当前已发布能力。 Manager 管任务与技能，Planner 分解目标，Engineer 调用工具；记录观测、参数、返回值以及各技能应满足的后置条件。Reviewer 找最早失败节点。 沿技能返回的顺序检查后置条件，先看被调用者再看调用者。例如“已释放物体”不成立，要追到放置／释放责任节点，而不是先修改顶层任务目标。限定修改范围。 只修改该节点负责的子层次；若接口也需要改变，先把调用者纳入影响范围。候选补丁此时还没有发布。验证后接纳。 检查代码与功能测试，重放受影响任务最近的成功／失败记录，确认未破坏已有行为。通过才发布，否则保留原版。积累稳定能力。 稳定序列可以组合成带参数的复合技能，人类纠正可以转成检查项或维护指引；下一轮使用新的已发布版本。
2 · 核心机制没有梯度 loss，接纳规则才是关键
候选补丁 = R(责任子树, 对外接口, 执行证据)
R 表示由系统提出修订的过程，V 是验证过程，⊕ 表示应用被接纳的补丁。这里的 V 不是 价值神经网络。这个表达式解释了持久化边界：更新对象是代码、指导与接口契约，质量信号来自执行与测试；没有一个跨全系统的可微 loss 要拿来微调 Reviewer 或 VLA。TSR 方法与形式化定义
还有一条独立的策略学习支线。 成功执行轨迹可训练小型 ACT 策略，再把它作为技能调用。此时才出现行为克隆训练：观测→预测动作块→与记录动作比较，另有 ACT 潜变量 KL 正则；论文附录给出 KL 权重 1、10,000 步训练。其研究重点之一是把关节目标改成相对动作块起始关节姿态的目标 ，降低少量数据下回归绝对姿态的负担。这是另起的监督学习阶段，不是每次 Reviewer 反馈都自动触发的 loss。正文未展开完整 ACT 目标，复现应对照训练实现，不能把 TSR 补丁选择套成 PPO。
3 · 推理有两种模式，必须说清楚是哪一种
演化模式： 用已发布技能完成任务，发现问题后进入修订、验证和持久化，能力随版本改变。冻结评测： 选定一个 release，在留出初态上执行；仓库的冻结评测禁用自演化和持久写回。部署成功的小策略可以独立推理，不一定每个控制步都请求多智能体讨论。
因此，“第 100 次运行时系统更强”必须问清：用了哪个技能版本，前 99 次提供了什么信息，失败重试是否计入预算。冻结版单次成功率与多版本累计成功覆盖回答不同问题。
4 · 为什么可能有效：缩小修改面，保留已经会的东西
论文真机例子中，机械臂拿着物品到达投放位置，却没有释放。trace 显示观测位姿动作返回容差失败，导致后续流程未完成；修订集中在 Place Object 分支，复查实际位姿并完成释放序列，再通过近期记录重放与回归检查。它示范的不是“多想几轮自然更好”，而是证据确定责任、接口限制传播、回归约束退化 。
边界是验证覆盖率：有限历史只能约束见过的情况，不能证明所有新场景都安全有效。若后置条件漏检，或错误节点被误判为成功，局部修订也可能改错地方。复合技能减少反复规划，仍需对当前场景参数和异常进行检查。
证据与复现。 95/120 是演化期间累计任务覆盖；同条件 Code-on／Code-off 的 174/600 对 129/600 才是另一种匹配比较。公开入口有冻结评测与版本审计，但还需外部模型 API、本地渲染与服务资源。没有已确认的 A100 峰值，暂列条件候选。
⑦ Q-Planning：动作生成器不动，让评价器学会从失败中挑更好的动作
C · 从失败到可复用能力
从一个问题开始。 同一机器人策略有时从杯子上方抓，有时从侧面抓，其中一种更容易成功。是否必须重训大策略，才能提高成功率？Q-Planning 保留行为克隆策略 πBC 作为候选生成器，另训 Qφ 来评价“在当前观测下执行这段动作，后续结果可能有多好”。
先看两张论文原图：控制回路与 Q 网络
论文原图 · Q-Planning · 原文 Fig. 1 · 论文与图注 作者原图 · 点击放大查看细节 第一张上半部分是冻结 BC→候选→Q 引导→执行，下半部分是成败经验→replay→只训练 Q。用箭头看更新对象，能避免把它误读成“部署后给整个 VLA 做 RL”。
论文原图 · Q-Planning · 原文 Fig. 5 · 论文与图注 作者原图 · 点击放大查看细节 第二张放大 Q：DINOv2 处理图像、T5 处理指令，候选动作块作为 Transformer decoder 的 query tokens；HL-Gauss head 输出各回报区间的分数，再取期望得到 Q。这里的“query”是候选动作输入，不是 T³VF 中被在线训练的视觉 query。§3、Fig. 1／5 与附录
再看中文流程：把架构展开成执行顺序
下面分别追踪动作和反馈：冻结策略提出候选，Q 影响动作选择；执行产生的成败经验进入回放，再用来训练 Q。
图 8｜Q-Planning：训练 Q，冻结候选生成器。机制示意 · 非实验测量图 1 · 离线训练：先会做动作，再学给动作评分
从与 BC 相同的成功演示开始，冻结 BC 。把轨迹切成带奖励的动作块转移：当前观测 oₜ、动作块 Aₜ、块内奖励、后续观测 oₜ₊H，以及缓存中紧随其后的动作块 A下一段。Q 输入当前图像、任务指令和候选动作块，学习预计折扣回报。它有独立视觉／语言编码器，与 BC 不共享参数。
2 · Q 的 loss：目标来自真实奖励与后续价值估计
先构造标量目标 j=0…H−1 γj rₜ₊ⱼH Qtarget(oₜ₊H, ℓ, A下一段)再做实际使用的分布回归 b pyₜ (b) log pφ(b)b vb pφ(b)
H 是块长度，γ 是折扣因子，r 是环境奖励；成功终局为 1，其他步为 0。这里 dₜ 表示这个转移是否终止；终止后不再加未来价值。Qtarget 是 Q 的平滑目标副本，训练标签停止梯度。A下一段直接取 replay 中的后续动作，不是每次更新都调用规划器挑一个最大 Q 动作。
最后三行是 HL-Gauss：把连续目标 yₜ 在价值区间上变成高斯平滑的标签分布 pᵧ，网络预测各区间概率 pφ，用交叉熵对齐它们。b 是区间索引，vᵦ 是区间中心，标量 Q 是概率加权平均。论文先用 Bellman 平方误差解释目标，但实际优化的是这个分布交叉熵，不能实现成普通 MSE 后仍称完全匹配。
教学例子： 失败终止块没有奖励也没有后续价值，因此 y=0；成功终止块的目标由成功奖励及其折扣决定。对更早的动作块，目标借助后续 Q 一步步传播。失败数据因此教 Q“这类状态—动作组合回报低”，不会要求 BC 把失败动作学得更熟。
3 · 推理：采样、评分、加权，再执行
当前观测 → 冻结 BC 采样 N 个动作块 A⁽ⁱ⁾ → Q 分别评分 → 权重归一化 → 执行加权动作块的一段 → 重新观测并规划。
wᵢ = exp(Qφ(o, ℓ, A⁽ⁱ⁾)/λ) ÷ Σⱼ exp(Qφ(o, ℓ, A⁽ʲ⁾)/λ)
N 是候选数，i、j 是候选索引；λ>0 是温度，越小越偏向高分候选。这里是 softmax 加权平均，不是 Best-of-N 只选最高分。 实际执行的是动作块前一段，随后再规划；连续动作的平均是否合理，依赖具体表示和候选分布。
4 · 在线自我改进：采一批经验，再训练 Q
用当前规划器采集一批成功和失败轨迹 → 全部追加到 replay → 混合原始演示与在线数据更新 Q → 平滑更新 Qtarget → 用新 Q 采下一批。BC 在全部轮次中保持固定。论文模拟设置每轮每任务采 100 episodes，再做 200 步 Q 更新，小批量一半演示、一半在线经验。动作选择时的前向评分，与一批采集后的梯度训练，应分别计时。
5 · 为什么可能有效：失败适合教评价器，未必适合直接模仿
BC 已有多样动作候选，Q 学会把权重偏向更有希望的行为；新 rollout 又包含离线演示缺失的错误状态，能修正 Q 先前的高估。动作块缩短价值传播链，分布回归改善稀疏回报下的训练稳定性，BC 冻结避免价值训练直接改坏动作生成权重。
边界同样清楚：好动作必须先被 BC 采到。 Q 不能凭空创造生成器完全不会的行为；Q 误判仍会选坏动作，加权平均也可能落到不合适的中间动作。冻结 BC 只是隔离参数影响，不是闭环安全或必然提升的保证。
证据与复现。 LIBERO-10 为 BC 90%→离线 Q 引导 93%→十轮在线后 99%；真机终局标签仍由人提供。Q 约 1B，原离线训练 4×H200，单 L40S 推理不能证明两 A100 训练可行。关键对照是固定 Q、迭代 Q、同 N 的 Best-of-N、等交互的成功轨迹 SFT。
⑧ RISE：先学会模拟和评价，再让策略从带质量标签的想象中学习
D · 降低真实试错成本
从一个问题开始。 夹蓝色积木放到蓝盒子里，真机可以反复练，但每次 reset 与失败都有成本。RISE 先训练两个模型：动力学 D 回答“执行后会看到什么”，价值 V 回答“这些画面离任务完成有多近”。策略随后在这个学习出来的环境里练习，最后把学好的策略单独放回真机。
先看两张论文原图：世界模型与想象训练
论文原图 · RISE · 原文 Fig. 4 · 论文与图注 作者原图 · 点击放大查看细节 Fig. 4 左边训练动作条件动力学，右边训练进度价值；底部把“预测未来”和“评价未来”接起来。注意两个模型的训练标签不同，视频保真度不能代替价值正确性。
论文原图 · RISE · 原文 Fig. 5 · 论文与图注 作者原图 · 点击放大查看细节 Fig. 5 上半是提动作→模拟→得到 Evaluated Advantage ，下半是带这个标签训练行为策略。Prompted Advantage 是生成请求，Evaluated Advantage 是训练条件标签；不能把每条自生成动作都贴成“好”。策略更新再返回 rollout policy，才形成连续改进。§II—III、Fig. 4—5 与训练附录
再看中文流程：把架构展开成执行顺序
接下来按训练依赖展开：先从真实数据学习动力学与价值，再生成并评价想象轨迹，最后用这些带质量标签的数据改进策略。
图 9｜RISE：在模型里练习，把策略部署到真机。机制示意 · 非实验测量图 1 · 前置训练：三个模块，各学一件事
动力学的视频 loss 与前面的生成式动作 loss 类似，但预测对象换成视频潜变量：给真实未来潜变量 z 加噪，训练 D 预测噪声与 z 之间的 flow 向量。平方误差约束生成内容，动作作为条件必须真正影响预测 ；若忽略动作，只生成漂亮但相同的视频，就不能成为有效练习环境。D 经大规模预训练和任务微调，随后与已训练 V 一起服务策略自我改进。
2 · 价值模型的两个 loss，为什么都需要
Lprogress = E专家轨迹 [V(oₜ, ℓ) − t/T]²成败轨迹 [V(oₜ, ℓ) − yₜ]²
t/T 是成功演示已进行的时间比例，给出稠密的粗进度标签；rₜ 在中间步为 0，成功／失败终局分别为 +1／−1，γ 是折扣。TD 用后续结果构造当前价值目标，让“动作进行了一半但已经失败”的状态不能仅靠时间靠后而得高分。论文先只训进度，再加入 TD。t/T 是训练用的近似进度标签，不能理解成所有任务都必然匀速接近成功。
3 · 一轮想象：先提动作，再评价实际预测后果
从真实离线数据取初始观测。给 rollout policy 一个“高优势”的条件，请它尝试好动作。
将动作块送进 D，生成未来 H 帧；V 给每帧和起始帧打分。
计算优势 g：未来平均价值减去起点价值，再分成质量档位，作为这个动作块的评价标签 。
缓存观测、动作块、评价标签。预测状态可再接一段想象，论文最多连续接两次，以限制累积误差。
g = (1/H) Σk=1…H V(ôₜ₊ₖ, ℓ) − V(oₜ, ℓ)
ô 是 D 预测的未来图像，H 是预测长度。g 是论文所用的模型优势估计，不是真实成功标签，也不是动作块 A。 若起始价值 0.3，未来三帧为 0.4、0.5、0.6，则教学例子的 g=0.2。输入的“请表现好”不等于评价后的“确实好”；必须重新打标签。
4 · 策略 loss：用评价标签作为条件，学习对应动作
统一记号下的条件 flow-matching 目标 τ = τ A + (1−τ) ετ , τ | o, ℓ, bin(g)) − (A−ε)‖²
A 是这条样本的动作块，可以来自真实数据，也可以来自刚才的想象 rollout；ε 是噪声，τ 是数据占比，uθ 是策略生成向量，bin(g) 是优势的离散质量档位。这个式子用统一方向展开论文的通用 flow-matching 目标，不改变其条件学习含义。它没有把优势直接当成乘在 loss 前面的奖励权重 ，也不是 PPO 的裁剪策略梯度。
差动作为什么不会被无条件学成好动作？ 训练时差动作配低质量条件，好动作配高质量条件；生成时再要求高质量档。就像同一模型学会“粗略画”和“精细画”两种条件，使用时选择后者。但若 V 把差动作误标为高质量，策略仍会学坏。
策略预热时，专家演示与人类纠正直接标为最优优势；普通 rollout 用 V 估计标签。之后，想象数据与真实离线数据混合训练，更新行为策略，再用其参数的指数滑动平均更新 rollout policy，开启下一轮。D、V 在这里提供样本和标签，不需要把整个世界模型的梯度一路反传回策略。
5 · 真机推理：为什么可能有效
最终部署只需：真实观测＋指令＋高优势条件 → 最终策略生成动作 → 执行并重规划。D 和 V 不随最终策略一起运行 ；“部署无额外世界模型开销”说的是这个阶段，不能据此忽略前置训练成本。
其有效路径是：动作相关的模拟提供新状态，失败敏感的评价提供质量区分，条件策略从这些经验中偏向更好的行为。短想象链和混入真实数据减轻模型误差、遗忘；仍须在真实闭环中验证。两模型若共同错判，策略可能越来越会利用模拟漏洞。
证据与复现。 动力学预训练 16×H100 约 7 天、任务微调 8×H100 约 3 天；价值和策略也采用 8 卡。完整复现超出两 A100。研究应比较预热策略与想象改进策略，匹配真实数据和训练预算，并分别检查动力学动作遵循、价值对失败的敏感性及最终真机结果。
07 · 从第一组实验到研究问题：一次只验证一个改进机制
以下以 PDF + LIBERO-Spatial 为起点。目标是回答“小头的反馈学习是否带来额外收益”，然后再扩展到你更关注的记忆、视觉适应或技能演化。整个过程按“先协议 → 后运行 → 再比较 → 提假设”展开。
7.1 · 先写一页实验协议
明确六项：可变状态、反馈来源、更新时机、重置规则、验证集合、资源预算 。其中最容易漏掉的是重置与测试边界：
留出测试若允许 episode 内 TTT，应提前声明可用反馈和重置规则；不得把其结果再用于跨任务选择版本。开发集、选择验证集、最终测试集的职责需要分开。原 PDF 默认脚本含回退尝试，下述教学实验改为单次尝试，属于本文建议协议 。
7.2 · 跑通原始基线，并确认“更新确实按预期发生”
固定仓库提交、checkpoint、依赖与初态集合。先跑约 5 条冻结轨迹，检查图像预处理、动作归一化、夹爪方向、任务成功判定和 episode 长度；再跑一次完整适配更新，测显存峰值和耗时。确认可训练头变化、冻结底座保持不变，以及更新次数与反馈相符。
# PDF 官方默认入口：用于核对运行链条
# 公平的四组单次尝试对照，需要另配增强／小头／更新／重试开关
CONDA_ENV=libero GPU_ID=0 bash scripts/start_spatial.sh
如果转到 T³VF，还要逐项确认非 query embedding 行不变、episode 重置完整、未来图像在到达后才用于 loss。对于记忆模型，则验证禁写、重置和打乱历史确实改变了相应状态。
7.3 · 四组匹配实验：把“多算”与“学到”拆开
四组使用同样初态、episode 长度和尝试次数；paired 的是初态与随机规则，不是要求已经分叉的策略看到同样图像。建议小头在同任务内跨 episodes 保留，新任务开始重置，并画出随经验积累的曲线。若只报告最后一次成功率，会遗漏前期适应成本。
完成先导后，可把主实验设计为 10 tasks × 50 episodes × 3 seeds × 4 conditions = 6,000 条轨迹 。这是一个预算示例，不是作者协议，也不是冒烟测试；最终样本数还需考虑方差和期望检测的效果。两张卡优先跑独立条件／seeds，无需先引入分布式训练。
GPU 小时 ≈ Σ（条件轨迹数 × 该条件实测平均秒数）/ 3600
用先导实验的耗时，估算你的总预算 交互计算器 7.4 · 怎样读结果，怎样决定是否进入下一步
若 PDF 与 frozen-head 相近而都高于 plain，不能据此宣称反馈学习有效；若大量轨迹没有正反馈、实际更新极少，应先检查学习信号是否足够。对于其他路线，也应用第 6.1 节的匹配对照，避免拿阶段完成分、累计覆盖和单次成功率混成一张排行榜。
下面是扩展路线入口，仅在资产与资源先导通过后使用；本次未运行这些训练命令。
# T³VF：原 Mantis 权重，无前置扰动训练
sh evaluation_ood.sh
# Q-Planning：检查资产与一次规划步骤，再测单卡 Q 训练
qplanning doctor --config configs/libero_10/qplanning_offline.yaml
qplanning probe --config configs/libero_10/qplanning_offline.yaml
qplanning train-q --config configs/libero_10/train_q.yaml --train_q.num_gpus=1
7.5 · 把复现结果变成一个可否证的研究假设
一个适合从小模块开始的问题是：“什么时候允许机器人把新经验写进参数？” 固定底座与反馈，对比无更新、无条件更新、选择性接纳，同时看适应收益、旧任务保留和额外延迟。它横跨视觉适应、记忆与稳定性研究，但这里只是选题建议，正式立项仍需定向检索验证新颖性。
缩短序列、降低候选数、替换 API 模型或拼接新验证门，都是有价值的机制实验；应明确配置变化，不沿用原论文的复现声明。先把一个增益解释清楚，再扩大模型和实验规模。