VaDar:通过价值分解实现隐式目标条件化的强化学习方法
论文提出 Value Disaggregation(VaDar),训练一个与子目标无关的单一策略,最大化各子目标 critic 值的线性组合,子目标信息只在训练时使用,部署时无需选择子目标。
推荐理由:论文提出用价值分解替代子目标条件策略,省去部署时的子目标选择,并在 RoboCasa 长程任务上给出对比结果。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
论文提出 Value Disaggregation(VaDar),训练一个与子目标无关的单一策略,最大化各子目标 critic 值的线性组合,子目标信息只在训练时使用,部署时无需选择子目标。
推荐理由:论文提出用价值分解替代子目标条件策略,省去部署时的子目标选择,并在 RoboCasa 长程任务上给出对比结果。
研究提出一种面向腱驱动连续体机器人(TDCR)的不确定性感知算子学习代理模型,可在不同设计与驱动条件下预测完整平衡构型。其核心是用浅层神经网络从力学感知设计坐标学习非平稳高斯过程核的度量,并以空间核表示骨干位置与旋转应变、直接在SO(3)上重建姿态。
SPAR 提出对 VLA 模型 LLM 主干同时剪枝隐藏层与前馈中间维度,再用强化学习恢复策略性能。应用于 π0.5 时,语言主干从 2.34B 降至 0.09B 参数,完整模型从 3.37B 降至 1.12B,分别移除约 96% 和 67% 的参数。
推荐理由:论文给出 VLA 模型结构化剪枝后接强化学习恢复的具体压缩比例与 LIBERO 成功率变化,可作为紧凑策略部署的参考。
研究在14名健康参与者上对比了肘部主动外骨骼的五种肌电驱动控制算法,包括两种不同助力水平的比例肌电控制(PMC)、纯积分自适应重力补偿(AGC-PI)、运动学与加速度感知的模型型AGC(AGC-AW)以及基于递归最小二乘在线估计负载的AGC-RLS。
RoboMMT 提出一种模块化控制架构,将参数化表达动作合成、基于物理的角色控制与面向空间交互目标的反应式适应耦合起来,训练一个参考条件跟踪策略在广泛表达域内保持动态稳定。
推荐理由:论文给出耦合表达动作合成与物理角色控制的模块化架构,并对比了覆盖域不足的跟踪器失稳情况。
Cartender 提出从真实驾驶记录中学习未被采取的分支,用视觉语言模型生成替代未来及对应指令,并以不支持的指令作为负标签,从而在无仿真器条件下构造匹配与不匹配的指令-动作对。
推荐理由:论文用真实记录构造反事实分支来监督语言条件驾驶,并给出同场景换指令的评测方式,可供研究语言条件策略如何区分场景约束与指令。
RoboPhoto-VLA 提出一个统一视觉-语言-动作框架,联合建模感知、推理与相机控制,用于自主机器人摄影。该框架包含用于结构化动作规划的 PhotoCoT 和将相机行为与人类审美偏好对齐的 Aesthetic Direct Preference Optimization(ADPO)。
OmniInteract 提出面向双人形机器人全身物理交互的统一控制方法,通过表面接触感知重定向与可扩展残差策略学习应对人机形态差异和交互多样性增长带来的控制保真度下降。
推荐理由:论文提出面向双人形机器人全身交互的统一控制方法,用表面接触感知重定向与残差策略分解应对形态差异和技能扩展。
SkateNav 提出一个基于强化学习的滑行导航框架,让被动轮四足机器人同时学习转向、推进和两者的时间分配。该框架用带时间预算的到达目标替代速度跟踪,并通过自适应滑行周期与每步频率调制调整滑行、推进和恢复的时长。
推荐理由:论文给出滑行导航的强化学习框架与仿真对比,并展示从仿真到被动轮 Mini Cheetah 的零样本迁移。
PaceVLA提出一种面向视觉-语言-动作模型的自适应时间执行框架,通过多粒度动作解码与路由选择减少低层动作步数。该框架包含基于共享动作专家的模式专用解码器,以及判断粗粒度执行是否合适的可量化性引导模式选择与上下文条件路由器。作者在三个多任务仿真基准和六个真实世界任务上测试,称其在多种本体包括长程与灵巧操作中提升执行效率并保持任务成功率。
推荐理由:论文针对VLA执行时延问题提出自适应时间动作量化框架,并在三个仿真基准和六个实机任务上验证。
研究提出在代码空间直接搜索多智能体协调策略,由编码智能体在仿真反馈和正确性校验下迭代提出、实现、评估并改进算法。在2024 League of Robot Runners竞赛的一张地图上,两天搜索得到的策略在最密集实例上比本地复现的较强参赛方案高35.0%,并可泛化到未见地图实例。
CondenseVLA 提出一种带可学习解码端历史压缩模块的多帧 VLA 策略,用可学习查询和多头交叉注意力把缓存的逐帧特征压缩为固定数量的 slot token,用于动作解码。
推荐理由:论文提出可学习的历史压缩模块,并给出仿真与实机成功率对比,可用于比较多帧 VLA 的历史信息利用方式。
作者提出 Vision-Language-Delta-Action(VLDA),把完整未来状态预测改写为紧凑的可操作过渡建模,用一个 Delta 变量捕捉潜在世界状态变化,作为视觉语言理解与动作生成之间的接口。
作者提出 DISCO,用渐进加宽的 MCTS 在物理仿真中生成长程规划,并把搜索结果周期性蒸馏进策略-价值模型,使策略在测试时无需仿真搜索即可直接部署。搜索过程中由学习到的策略提出连续动作,价值函数按任务完成进度为动作打分,并借助 GPU 并行仿真加速。在仿真与真实世界的多物体整理任务中,DISCO 的表现优于行为克隆、强化学习和基于搜索的基线。
推荐理由:论文把仿真中的 MCTS 搜索蒸馏进连续动作策略,为长程多物体整理任务提供了一条可迁移的训练思路。
TrajWAM 提出一种轨迹引导的世界动作模型,用于高效的动态机器人操作。该方法用历史物体掩码预测目标未来轨迹,再通过轻量 Trajectory ControlNet 引导预训练视频模型生成轨迹一致未来,并用解耦蒸馏实现一步视频-动作推理。
推荐理由:论文把未来视觉预测锚定到目标物体轨迹上,并给出一步推理的解耦蒸馏方案,可供动态操作研究比较。
论文提出 Collective Experience Learning(CEL)范式,让已部署机器人把自身执行经验汇总起来更新共享策略,再返回机群使用。作者通过失败引导经验检索微调(FERT)实现该范式,操作员只提供二值回合结果标签和环境重置,无需额外专家示范或纠正动作;容错异步训练系统(FATS)协调机器人执行、云端推理与策略优化。
推荐理由:论文提出用已部署机器人自身执行经验更新共享策略,并在96台机器人上验证了规模扩大带来的收益。
论文提出 Progress-Guided Preference Generation(PGPG),一种无需人工在环监督的无监督偏好对齐框架,用于微调预训练的生成式控制策略。该方法通过有序覆盖对齐衡量自主采集轨迹相对少量专家演示的序列进度,自动提取伪偏好标签,并称无需手工设计奖励函数。在多项长程操作任务实验中,PGPG 优于标准监督微调基线,并可同时集成扩散策略与流匹配策略。
推荐理由:论文提出无需人工标注的偏好对齐框架,用少量专家演示自动生成伪偏好标签,可比较其与监督微调在长程操作任务上的差异。
ReDOA 提出一种在真实世界学习图像策略的框架,将控制学习与感知学习解耦:先在仿真中训练基于状态的教师策略,在真实机器人上执行并采集轨迹,再把控制知识蒸馏到基于图像的学生策略,并用观测对齐处理数据采集与部署之间的观测差异。
SteerAct 提出一种少样本时间引导框架,在不更新动作模型权重的情况下,通过修改特征激活提升预训练机器人动作模型的任务成功率。该方法用预训练稀疏自编码器提供候选特征,并以时间描述符刻画各特征局部激活顺序模式的分布,从而在无需时间步对齐的情况下比较不同 rollout。
推荐理由:论文提出用稀疏自编码器特征的时间描述符做少样本激活引导,为测试时提升预训练动作模型提供可迁移方法。
作者提出向量量化世界模型 VQ-WM,将离散潜空间长程搜索与连续视觉反馈控制结合,用于机器人操作规划。该方法用首达时间的准度量估计替代欧氏距离,使规划抽象与控制器能力对齐。在汉诺塔实机操作中,该方法仅用短演示数据即达到 100% 成功率,并在操作与运动仿真基准上比最强世界模型高出 13.3 至 85.3 个百分点。
推荐理由:论文把离散潜空间搜索与连续视觉反馈控制结合,并用首达时间估计对齐规划与控制器能力,为长程操作提供可迁移方法。
Behnam Moradi 提出 Self-Crystallizing Behavior Trees(SCBT),把基础模型当作编译器而非运行时,在行为树节点失败时由 LLM 提出最小子树补丁,经 CMA-ES 调参、上下文赌博机决定是否调用 LLM,并通过静态检查、不变量监控回放和相对未修补树的经验余量三阶段准入。
推荐理由:论文把大模型推理编译成确定性行为树,并给出仿真中的调用次数与任务成功率对比,可了解基础模型与经典控制结合的一种路径。
作者提出 SurGPT 基础模型,可自动分析达芬奇手术机器人视频,同时完成手术任务分类(打结、穿针、缝合)、标准化技能水平评估和手术手势自然语言描述三项任务。模型结合视觉编码器与 transformer 架构,用位置编码建模时序、注意力机制整合时空特征,并以自适应不确定性加权进行多任务学习。在达芬奇技能模拟器数据集上,作者称其在手术任务识别上达到当前最优表现,技能评估结果与专家评价相关。
作者提出 RCRA 在线自适应框架,依据估计的行人反应性调节冻结保守导航策略周围的残差。基于 Transformer 的反应性估计器在仿真中比假设行人目标已知的贝叶斯基线场景平均准确率提升 12.62 个百分点。在每场景成功率均超过 90% 的基线中,RCRA 相对保守骨干网络将场景平均路径长度缩短 16.7%,相对随机训练基线缩短 7.3%,平均成功率比反应性训练策略高 14.88 个百分点。
AeroDASH 是一个面向无人机连续语言条件飞行的异步 VLA 框架,通过 B 样条策略监督微调与轨迹融合处理机载推理延迟造成的轨迹错位。在 UAV-Flow 测试集上,其成功率为 76.56%,分别高出 OpenVLA-UAV 和去掉 GRPO 的 AeroDASH 38.1 和 20.1 个百分点。
作者提出一种用 Energy Score 训练的注意力混合密度策略,将未来视觉运动轨迹表示为显式概率分布,单次前向即可输出高斯混合参数,以避免 MDN 奇异性和梯度尺度不稳定。在 8 自由度机械臂上,该方法生成不同的避障轨迹并稳定避障学习;在随机移动物体抓取任务中,其在若干未见条件下比 Diffusion Policy 高 15-25%。
TILDE 提出一种从预训练具身基础模型向未做动作预训练的策略迁移能力的蒸馏框架,结合学生状态上的在线蒸馏与教师执行恢复轨迹的学习。其 AutoDAgger 用机器人奖励模型监测任务进度并触发教师介入,无需人工监控或操控,恢复轨迹采集速度比人类在环方法快 2 倍以上。在三个真实世界任务上,TILDE 的任务表现最高为行为克隆的 4.1 倍,并支持跨架构蒸馏。
推荐理由:论文提出从具身基础模型蒸馏策略的框架,并给出自动数据聚合与实机任务对比结果,可供关注策略迁移的研究者参考。
DexGraspFlow 提出一种条件式连杆级 SE(3) 流匹配框架,将几何关系与运动学拓扑结合用于跨本体灵巧抓取生成。该方法在三种机器人手、30 组物体-手配对上的平均仿真成功率为 95.33%,含逆运动学的平均生成延迟比一个先进基线低约 49%。作者还报告了对七种去指变体的零样本适应与手掌朝向控制,并在部署手型的 100 次实机抓取试验中取得 91% 成功率。
推荐理由:论文把运动学拓扑引入跨本体灵巧抓取生成,并给出三种手、30 组手物配对的仿真结果与实机试验。
研究提出 Skill-RSI,让强通用模型仅在离线阶段编写、运行、诊断并修复仿真中的操作技能,冻结后的技能以代码形式运行或由廉价调用器读取描述执行。
推荐理由:论文提出冻结技能加廉价调用器的复用路线,并给出编译成本、失败任务与隐藏布局上的对照数据。
VLA-Rolling 提出一种轻量推理框架,通过动作尾部继承、逐动作置信度估计和置信度引导的重加噪与去噪预算分配三阶段复用动作尾部,底层 VLA 保持冻结。
推荐理由:论文提出复用动作尾部的推理框架,在16组模型与基准组合上同时报告推理加速与成功率变化,可供比较VLA推理效率方案。
该论文提出一种学习与优化结合的框架,为独立求解的四旋翼规划器预测空间航点和有序通过事件。各机共享同一物理时间网格,中间事件由网络固定,终端进度在本地优化,可微序列凸规划纳入刚体动力学与旋翼推力约束,并通过生成轨迹训练两个网络。
DreamCan 提出一种分层策略,用预训练视频模型改造的高层规划器生成稀疏视觉子目标,再由低层视觉运动策略执行,从而把视频模型的可执行性约束进规划。作者从无动作的离线机器人视频中估计子目标的可达性与任务效用,并用动态规划自动选取子目标序列,无需人工标注。
推荐理由:论文提出用稀疏视觉子目标替代稠密视频预测的分层策略,并在 LIBERO-Long 与真实双臂任务上给出对比结果。
英伟达展示开发者用GPT-6 Astra等前沿AI模型配合Omniverse库,通过自然语言指令构建仿真应用。仓库仿真在80台输送机、40条机械臂和800个箱子场景下以全高清30帧/秒运行两分钟,机械臂完成640次成功放置箱子。另有基于ABB YuMi的CAD转SimReady资产、Isaac Lab线缆布线等案例。

AWS 开源 SDK Strands Robots 联合 LeRobot 与 Hugging Face Storage Buckets,演示在同一 agent 内完成演示录制、从 Hub 流式读取训练、再把 checkpoint 部署回硬件的闭环。
推荐理由:以 Strands Robots 与 LeRobot 为例,演示录制、流式训练、部署回硬件的数据闭环,并给出存储去重与安全边界的具体做法。
Physical Intelligence 训练并发布通用模型 π0.7,官方称其在泛化上出现阶跃式提升,能执行训练数据中未出现的任务。
推荐理由:官方披露π0.7在未见任务上的组合泛化与跨本体迁移表现,并说明多模态提示如何统一异构数据。