2026 年 11 月 5 日 · 星期四
本期文章 87
All-For-One：将视觉基础模型蒸馏为快速、内存高效的视觉运动策略
All-For-One（AFO）提出两阶段蒸馏框架，把视觉基础模型（VFM）仅作为训练期的特权信息使用，从而避免在闭环控制中直接部署 VFM。All 阶段由教师策略融合 RGB 观测与多个 VFM 的输出，学习语义增强的表征；For-One 阶段再在分布内把该知识蒸馏给仅用 RGB 输入的轻量学生策略。作者在仿真中的两个 Adroit 任务、五个 MetaWorld 任务以及三个真实世界操作任务上评估，称 AFO 优于此前基于基础模型的方法，参数量比基于 VFM 的编码器少 30 倍以上，仿真基准中延迟比其自身教师低 50 倍。
SR-DP：面向多任务机器人操作的光谱路由扩散策略
作者提出 SR-DP（Spectrally Routed Diffusion Policy），用于缓解多任务联合训练时单一模型不如单任务专家的问题。方法上，先用冻结的 VGGT 编码器加空间压缩适配器生成紧凑的多尺度语义-几何 token，作为共享工作空间任务间更具区分度的视觉条件；再按标准扩散策略训练去噪器，随后用 SVD 将选定线性层分解为冻结的正交秩一专家基，通过光谱路由与 Householder 输入旋转进行适配。
动作条件潜空间预测模型提升人形机器人全身操作协调性
论文提出动作条件潜空间预测（action-conditioned latent foresight），一种潜空间世界动作模型（WAM），在执行前评估候选指令序列。动作生成器根据视觉、语言和机器人状态提出关节运动与手部指令序列，动作条件端点预测器估计各序列前缀到达的视觉特征并衡量向演示子目标的进展，联合时间先验则结合机器人状态与先前指令评估时间一致性；机器人执行得分最高序列的首批指令并从下一观测重新规划。
PrimeSim：基于大规模跨本体演示的通用世界模型模拟器
PrimeSim 是一个动作条件、多视角的世界模型模拟器，从预训练视频生成器出发，在覆盖22个平台、30110小时的机器人演示上做中期训练。为提升动作跟随，作者引入统一跨本体动作表示与帧对齐双路径条件；为保持多视角一致，设计带显式相机标识的视角感知交错注意力；再通过快视频慢记忆的后训练框架，把双向视频生成器转为高效自回归模拟器，结合快速因果生成、自 rollout 训练与分层时序记忆缓解误差累积。
uni-robot-agent：支持继续训练的开源机器人使用智能体统一框架
论文提出 uni-robot-agent，一个面向机器人使用智能体（RUA）研究的统一框架，支持开源权重模型并便于继续训练，以降低对前沿闭源模型的依赖。在无特权输入条件下，开箱即用的 Qwen3.8-Flash-Next 取得 RoboDojo Score 31.39，高于已公布的 GPT-6 Astra-RoboProbe 结果 28.97，并在 19 个真实世界任务上表现有竞争力。作者跨模型代际、家族和规模的分析将有效机器人使用归结为四项通用能力，建议未来 RUA 训练应联合发展这些能力。该工作为 arXiv 预印本，尚未经同行评议。
HiLo-WAM：解耦长程任务演化与局部动态的世界动作模型
HiLo-WAM提出将长程任务演化与局部视觉动态解耦、同时与机器人动作联合建模的世界动作模型。现有WAM多建模密集短程视觉动态，长程任务上下文有限，延长预测窗口又会增加不确定性并混淆任务级演化与细粒度局部动态。该方法用稀疏长程视觉流捕捉历史任务上下文与未来演化，用密集局部动态流建模短程机器人-物体交互，两流在统一双DiT架构中以不同时间尺度运行，并通过结构化跨流注意力引导动作；渐进推理经流式部分去噪、联合去噪和动态跳步减少计算。
智能体策略需要每步都看图吗？论文提出用于推理与动作的几何抽象
论文研究多模态语言模型在机器人交互中是否需要每一步都重新解读原始视觉观测，提出将常规空间推理从图像转移到文本和符号，通过一种从观测局部刷新、由语言模型直接读取的3D几何抽象来实现。该接口以带类型、带证据的符号引用表示物体部件几何，从标定RGB-D中接地，并在每次动作后返回带度量残差的紧凑文本检查点，使符号任务结构可跨决策复用、度量值重新绑定当前场景，仅在需要时调用直接视觉推理。在离线策略合成和连续在线执行中，基于接地文本与符号的推理提升了多步操作完成度，同时大幅减少重复多模态查询。论文被CoRL 2026 Agentic Robotics Workshop接收，共13页、8图。
论文提出带屏障约束安全架构的足式机器人视觉语言导航方法
论文提出一种安全架构，为足式机器人视觉语言导航（VLN）提供物理接地与导航安全保障。作者不放弃端到端VLA规划，而是将高层VLA规划器与低层物理接地层结合，后者利用状态估计、原位3D空间感知和SDF表示生成可执行轨迹。导航规划器将低维Bezier参数化MPPI规划器与离散指数屏障函数（dEBF）约束结合，在给定假设下提供可证明的避障保证。系统采用模块化设计，兼容多种VLM/VLA模型且不依赖特定机器人平台，并在人形与四足机器人上开展了大量真实世界实验，展示视觉语言驱动导航的能力。该文为arXiv预印本，尚未经同行评议。
LoopQ：面向量化视觉-语言-动作模型的闭环公平评测基准
LoopQ 是一个闭环基准，在同一检查点、层和引擎上比较多种量化策略，仅改变方法与内核。作者在四个 VLA 上评测 RTN、AWQ、GPTQ、ActQuant 和 QuantVLA，覆盖 LIBERO 与 LIBERO-plus 超过 18 万条 episode，并在 NVIDIA H100、L4 和 Jetson AGX Thor 上测试。结果显示量化可稳定节省内存，真实低比特模型为 2-3 倍。
RFWorld：免 rollout 世界模型用于端到端自动驾驶轨迹评估
RFWorld 是面向端到端自动驾驶轨迹评估的免 rollout 世界模型，作者认为现有基于模型的评估器需为每个候选轨迹预测未来状态，推理成本高且会累积预测误差。RFWorld 构建共享场景记忆，在训练阶段通过带语义监督的轻量时序读出将其塑造成可读未来的表示，推理时候选轨迹通过稀疏空间读出直接查询共享记忆完成打分，从而避免递归 rollout 误差。作者称该方式将计算量降低约规划时域乘以候选轨迹数量，在 NAVSIM 和 Bench2Drive 上取得 state-of-the-art 表现，并学到更贴合规划的世界表示。该工作为 arXiv 预印本，尚未经同行评议。
DexHOT：学习手物构型迁移的灵巧操作策略
DexHOT 将灵巧操作表述为手物构型迁移，即在同时指定手部关节与物体相对腕部位姿的可行构型之间移动，而非仅以物体位姿或轨迹设定目标。方法从合成可行构型对中学习可复用的关系条件迁移原语，无需人类参考动作，并通过闭环跟踪构型子目标组合长时序行为。在含 120 个物体的 DexHOTBench 上，单一策略对已见物体迁移成功率为 80.5%，对未见物体为 69.4%；在真实灵巧手上，200 次实机迁移成功率为 61.5%，六个演示引导任务的任务成功率为 90%。作者据此认为显式手物目标为灵巧操作提供了表达力强且可组合的接口。
CRONOS：面向机器人操作的非回合制强化学习基准
CRONOS 是一个用于在非回合制场景重置条件下对视觉-语言-动作（VLA）模型做强化学习微调的仿真基准，采用高保真物理仿真器和共享场景多任务设置。作者发现，直接微调预训练策略在非回合制设置下会因物体配置和末端执行器位姿变化而失败，但可通过有针对性的重置分配和缓解预训练模型偏差来改善。研究还发现，非回合制训练能增强长程操作能力，并提升对未见物体配置和任务序列的泛化。该工作为预印本，结果基于仿真环境。
WayTrace：面向具身城市导航的地图到语言到轨迹分层系统
WayTrace 是一个分层系统，通过语言把网页地图的步行导航指令连接到机器人运动：现成的编排视觉语言模型读取逐向导航指令、卫星地图和近期相机图像，一次输出一条原子语言命令，例如“向左过马路”；机载轨迹预测器基于超过一百万条从街景图像自动标注的样本训练，在图像中为该命令画出路径，再由强化学习策略跟踪。在长距离仿真任务中，WayTrace 对 GNSS 噪声保持稳健，很少偏离人行横道或人行道，而点目标基线明显退化，违规次数约为其十倍。
PyRUA-DataFarm：LLM 智能体充当遥操作员生成真实可用机器人数据
PyRUA-DataFarm 提出让编码智能体接替遥操作员：智能体接收数据请求和目标场景的一段校准 episode 后，在仿真中编写场景、专家控制器和成功判定器，再由以真实图像为条件的视频模型将每次 rollout 渲染为照片级视频，输出带机器人动作标签的多视角同步数据，可直接训练策略并部署到真机。独立评审在专家和每个渲染 episode 入库前进行认证。在五个真机任务上，仅用 farm 数据训练的策略与同等数量遥操作数据训练的策略表现相当（100 次试验中 93 对 84 次成功），在未见过的桌布和彩色光照下保持 87 次成功，而遥操作训练的策略降至 46 次。
HLO-AMP：基于物体感知运动先验的分层人形移动操作框架
HLO-AMP 提出一种分层人形移动操作框架，把底层控制器本身训练为物体感知的运动先验：用重定向动捕参考做运动模仿，训练时被操作物体真实存在于场景中，从而继承类人协调并直接吸收真实接触力旋量，同时保留与命令跟踪式全身控制器相同的紧凑任务空间命令接口。上层采用无参考的高层策略，其动作通道锚定在底层训练数据的经验包络内，以把先验泛化到长时程多阶段任务并防止底层偏离分布。作者在宇树 G1 上实现双臂箱子取放，同一部署策略可泛化到不同物体质量与尺寸、初始与目标位姿，并能在搬运中物体意外掉落时反应式恢复。该工作已被 CoRL 2026 接收。
RoboTryOn 用虚拟试衣思路从人类视频合成灵巧机器人演示
RoboTryOn 提出将人类视频到机器人演示的转换视为虚拟试衣：保留演示动作，把人物替换为参考图像指定的目标机器人，同时保留原任务、物体和背景。方法上，它自回归翻译选定关键帧，以手部骨架为运动条件引导视频合成，并用融合深度特征的逆动力学模型（IDM）从合成视频推断动作标签用于策略学习。在多个类人本体上的实验显示，仅用合成数据训练的策略在新任务（含双手操作）上的平均成功率从 2% 提升到 60%，且无需这些任务的真实机器人演示；合成数据训练的效果与仅用遥操作演示训练相当，采集成本约为后者的三分之一。论文为预印本，共 29 页、15 图、13 表。
ARP：将语义推理与动作生成解耦的异步机器人策略框架
作者提出异步机器人策略框架 ARP，用独立频率运行的异步进程把语义推理与低层动作生成解耦：高容量视觉语言模型以低频率异步更新语义记忆，轻量视觉-动作专家以更高控制频率据此生成机器人动作。为应对异步记忆陈旧，ARP 在语义陈旧与执行延迟条件下、用跨进程时间错配的观测训练视觉-动作专家。在 Franka 操作任务上，ARP 在准静态设置中成功率提高 18%、执行所需时间减少 20%，在动态仿真环境中达到基线性能的 3-5 倍；并可在比其标称频率低 10 倍的情况下运行 VLM 而无显著性能损失。
论文比较 VLA 中动作专家是否应回传梯度训练 VLM
论文研究 VLA 训练中动作专家是否应向 VLM 回传梯度，以及动作 token 监督如何影响这一选择。作者在自动驾驶与操作任务中分别改变动作 token 监督和专家损失是否更新 VLM：开环驾驶中，有动作 token 监督时梯度隔离与耦合表现相当，无监督时耦合将轨迹预测误差降低约 25%。两个组件从训练初期联合训练时，耦合在有动作 token 监督下使闭环驾驶路线进度提升约 17%，无监督时提升约 40%，在两种设置下也类似改善机器人操作表现。作者据此认为梯度隔离的价值取决于 VLM 的动作监督与评测设置，对将其作为默认训练配方提出质疑。
GUILD：面向模仿学习的引导式迭代数据采集方法
GUILD 是一种引导式数据采集（GDC）方法，用于在模仿学习训练前主动判断应采集哪些数据以提升下游策略表现。其迭代框架交替进行任务提议与数据采集、数据评估两步：前者借助视觉语言模型的语义先验确定相关环境、物体配置与目标，后者用预测性数据归因估计已采轨迹对目标部署场景策略性能的影响，并将该信号反馈给后续采集以闭合循环。作者在仿真和真实机器人环境中评估，称相比被动采集策略、多个基线以及经验丰富的机器人操作者，引导式采集在样本效率和部署性能上有明显提升。该工作为 arXiv 预印本，尚未见同行评议信息。
SimuScene：从单张图像重建可仿真的组合式3D场景
SimuScene 提出一种组合式3D重建流程，把物理放进形状与布局估计的回路，从单张图像生成可直接用于仿真的交互式3D场景。针对现有单图重建方法组合后出现物体互相穿透、悬空或下沉的问题，该方法在生成过程中用物理引擎做诊断测量，把穿透与支撑失败转化为定量校正信号，驱动非模态形状重采样，并以沿重力轴拉伸作为小误差的轻量修正。实验显示其在物理稳定性和几何对齐基准上取得当前最优表现，作者还将重建环境用于人形机器人控制和机械臂操作任务。该工作为预印本，尚未经同行评议。