SkateNav:让被动轮四足机器人学习自适应滑行节能导航
SkateNav 提出一个基于强化学习的滑行导航框架,让被动轮四足机器人同时学习转向、推进和两者的时间分配。该框架用带时间预算的到达目标替代速度跟踪,并通过自适应滑行周期与每步频率调制调整滑行、推进和恢复的时长。
推荐理由:论文给出滑行导航的强化学习框架与仿真对比,并展示从仿真到被动轮 Mini Cheetah 的零样本迁移。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
SkateNav 提出一个基于强化学习的滑行导航框架,让被动轮四足机器人同时学习转向、推进和两者的时间分配。该框架用带时间预算的到达目标替代速度跟踪,并通过自适应滑行周期与每步频率调制调整滑行、推进和恢复的时长。
推荐理由:论文给出滑行导航的强化学习框架与仿真对比,并展示从仿真到被动轮 Mini Cheetah 的零样本迁移。
PaceVLA提出一种面向视觉-语言-动作模型的自适应时间执行框架,通过多粒度动作解码与路由选择减少低层动作步数。该框架包含基于共享动作专家的模式专用解码器,以及判断粗粒度执行是否合适的可量化性引导模式选择与上下文条件路由器。作者在三个多任务仿真基准和六个真实世界任务上测试,称其在多种本体包括长程与灵巧操作中提升执行效率并保持任务成功率。
推荐理由:论文针对VLA执行时延问题提出自适应时间动作量化框架,并在三个仿真基准和六个实机任务上验证。
研究提出在代码空间直接搜索多智能体协调策略,由编码智能体在仿真反馈和正确性校验下迭代提出、实现、评估并改进算法。在2024 League of Robot Runners竞赛的一张地图上,两天搜索得到的策略在最密集实例上比本地复现的较强参赛方案高35.0%,并可泛化到未见地图实例。
CondenseVLA 提出一种带可学习解码端历史压缩模块的多帧 VLA 策略,用可学习查询和多头交叉注意力把缓存的逐帧特征压缩为固定数量的 slot token,用于动作解码。
推荐理由:论文提出可学习的历史压缩模块,并给出仿真与实机成功率对比,可用于比较多帧 VLA 的历史信息利用方式。
作者提出 Vision-Language-Delta-Action(VLDA),把完整未来状态预测改写为紧凑的可操作过渡建模,用一个 Delta 变量捕捉潜在世界状态变化,作为视觉语言理解与动作生成之间的接口。
研究团队提出 AeroIntent,一个基于仿真的无人机任务意图识别基准,包含 22 个轨迹程序在五类任务意图下生成的 990 条同步多模态序列,提供雷达、RGB、红外和深度观测,并设置程序不相交、雷达缺失和观测前缀三种评估协议。
OV-PEAR 是一个面向未知工业物体的三维重建与位姿尺度估计框架,通过实例分割生成物体级三维假设、经外观感知视角检索与显式尺度搜索对齐到机器人坐标系,再用多视角 RGB-D 证据反投影验证体素占据。
推荐理由:论文给出未知工业物体的位姿尺度估计与重建流程,并在BOP-Industrial和实机装配上报告结果,可供比较零样本位姿方法。
作者提出 DISCO,用渐进加宽的 MCTS 在物理仿真中生成长程规划,并把搜索结果周期性蒸馏进策略-价值模型,使策略在测试时无需仿真搜索即可直接部署。搜索过程中由学习到的策略提出连续动作,价值函数按任务完成进度为动作打分,并借助 GPU 并行仿真加速。在仿真与真实世界的多物体整理任务中,DISCO 的表现优于行为克隆、强化学习和基于搜索的基线。
推荐理由:论文把仿真中的 MCTS 搜索蒸馏进连续动作策略,为长程多物体整理任务提供了一条可迁移的训练思路。
TrajWAM 提出一种轨迹引导的世界动作模型,用于高效的动态机器人操作。该方法用历史物体掩码预测目标未来轨迹,再通过轻量 Trajectory ControlNet 引导预训练视频模型生成轨迹一致未来,并用解耦蒸馏实现一步视频-动作推理。
推荐理由:论文把未来视觉预测锚定到目标物体轨迹上,并给出一步推理的解耦蒸馏方案,可供动态操作研究比较。
论文提出 Collective Experience Learning(CEL)范式,让已部署机器人把自身执行经验汇总起来更新共享策略,再返回机群使用。作者通过失败引导经验检索微调(FERT)实现该范式,操作员只提供二值回合结果标签和环境重置,无需额外专家示范或纠正动作;容错异步训练系统(FATS)协调机器人执行、云端推理与策略优化。
推荐理由:论文提出用已部署机器人自身执行经验更新共享策略,并在96台机器人上验证了规模扩大带来的收益。
作者提出LECDrive框架,在VLA模型中嵌入由任务特定潜token构成的渐进式专家认知链,让模型从DINOv3、SAM3和DepthAnything3中内化视觉、语义与几何知识。该认知链按课程学习原则从表征到语义、几何逐步施加监督,同时保持推理效率。作者称在物体感知、状态预测和轨迹规划等自动驾驶基准上,LECDrive持续提升基础VLM的性能,论文为预印本。
研究提出一种月面站(SS)辅助的辐射测量导航架构,通过双差卫星观测与星间双向单程测距(DOWR)提升月球车相对定位。基于NASA LCRNS五星星座与月球南极Connecting Ridge附近轨迹的蒙特卡洛仿真显示,99.7%垂直定位平均误差从无SS的29.9 m降至双差伪距与多普勒处理的5.5 m,加入DOWR后为4.8 m。
作者提出SWAP分层框架,将碰撞感知决策与稳定控制分离:高层扩散策略生成多模态避障动作提案,低层全身RL控制器跟踪提案并维持动态平衡。训练时通过事后标注在随机指令下滚动低层策略,把障碍物放在已执行动作未扫过的空间,从而构造无碰撞样本并重渲染感知。仿真和宇树G1实机实验显示对静态与动态障碍物均能可靠避障,测试时蒙特卡洛采样引导使速度、朝向或姿态等目标奖励平均提升34%,同时保持较高避障率。
推荐理由:论文提出分层框架,用扩散策略生成避障动作、RL控制器保持平衡,并在宇树G1实机上验证。
Fanxing Meng 与 Jing Xiao 的预印本研究把人婴幼儿运动发育量表表示为发育图,并在强化学习框架中训练人形机器人按量表描述的自然阶段学习粗大运动技能。结果显示,四套常用儿科运动量表中三套导出的图能成功引导机器人习得这些技能;第四套因缺少其他量表具有的部分中间里程碑而出现失败,补上缺失里程碑后也能成功。研究据此评估哪些量表足以作为发展到站立和行走的完整指南。
推荐理由:研究把四套婴幼儿运动发育量表转成发育图并用于强化学习训练人形机器人,可比较各量表作为技能训练指南的完整性。
论文提出 Progress-Guided Preference Generation(PGPG),一种无需人工在环监督的无监督偏好对齐框架,用于微调预训练的生成式控制策略。该方法通过有序覆盖对齐衡量自主采集轨迹相对少量专家演示的序列进度,自动提取伪偏好标签,并称无需手工设计奖励函数。在多项长程操作任务实验中,PGPG 优于标准监督微调基线,并可同时集成扩散策略与流匹配策略。
推荐理由:论文提出无需人工标注的偏好对齐框架,用少量专家演示自动生成伪偏好标签,可比较其与监督微调在长程操作任务上的差异。
ReDOA 提出一种在真实世界学习图像策略的框架,将控制学习与感知学习解耦:先在仿真中训练基于状态的教师策略,在真实机器人上执行并采集轨迹,再把控制知识蒸馏到基于图像的学生策略,并用观测对齐处理数据采集与部署之间的观测差异。
浙江大学等团队提出 ScaleNav,一个面向语言条件局部导航的世界-动作统一框架,先用互联网第一视角视频做指令条件视频预训练,再用带动作标注的仿真数据对齐动作块,最后联合微调。
推荐理由:论文用互联网第一视角视频预训练视觉动态,再对齐仿真动作,为语言条件局部导航提供可迁移的三阶段训练思路。
针对多旋翼无人机直接测风可靠性受机体运动影响的问题,研究提出用车体水平与垂直速度量化每次风观测获取质量的置信度方法,并将置信度用于调节二维矢量估计器的测量权重。在水平平移、垂直运动和留出自主航点飞行实验中,双特征方案ROC-AUC达0.995,98.84%的平移观测被判定为不可靠;置信度自适应使平移时估计器中位增益从0.207降至0.064,悬停时仍保持0.151。
Gang He 等人在 arXiv 预印本中提出 VeSTA 框架,用于弥合连续视觉语言导航中语义能力与物理可执行性之间的差距。作者指出当前仿真器的宽松接触模型可能掩盖物理不可行动作,使到达成功率不能反映真实执行能力。
推荐理由:论文指出宽松接触模型会掩盖物理不可行动作,并给出对齐可执行轨迹的方法,可供评估VLN策略的仿真与实机差距参考。
香港大学团队提出SpaRV,一种由可微光线步进渲染的稀疏辐射体素地图,让不规则LiDAR扫描与图像共同监督建图。该方法用LiDAR深度和占据约束几何,并通过交替训练地图与光度优化相机位姿和焦距来修正相机误差;训练和渲染时仅保留一个全分辨率子图、其余用更粗八叉树层级以限制GPU显存。
推荐理由:论文用稀疏辐射体素让不规则LiDAR扫描与图像共同约束建图,并交替优化相机位姿与焦距,为机器人场景重建提供可迁移思路。
Yoo Sung Jang 与 Michael Ryoo 提出 Latent Projection for Latent Planning,利用世界模型训练中 SIGReg 正则化带来的高斯结构,拟合状态动力学矩阵 A 并以其特征基衡量各潜空间方向的不确定性,从而把规划用的 ℓ2 成本限制在不确定性最低的 k 维子空间。
InteractAgent 是一个面向长程人-场景交互的智能体多模态大模型系统,以单个 MLLM 同时担任规划器与评估器、冻结的 MotionLLM 作为执行器,形成规划、执行、观测、反思的闭环。系统引入在线观测做逐步恢复决策(继续/重做/重规划),并用记忆增强反思进行多轮计划细化与自适应停止。在 UniHSI 上,作者称其相比免训练基线提升了任务成功率并减少了穿透,代码已开源于 GitHub。
Jineon Kim 与 Jhonghyun An 提出 TNVD-SC,在保留 Scan Context 环扇拓扑的同时编码地形相对垂直概率分布,用于森林长期 LiDAR 位置识别。
SteerAct 提出一种少样本时间引导框架,在不更新动作模型权重的情况下,通过修改特征激活提升预训练机器人动作模型的任务成功率。该方法用预训练稀疏自编码器提供候选特征,并以时间描述符刻画各特征局部激活顺序模式的分布,从而在无需时间步对齐的情况下比较不同 rollout。
推荐理由:论文提出用稀疏自编码器特征的时间描述符做少样本激活引导,为测试时提升预训练动作模型提供可迁移方法。
针对相机弱监督3D语义占据中稀疏高斯位置仅靠像素渲染损失学习、前景小目标权重偏低的问题,提出仅在训练时使用的前景吸引损失:用伪深度反投影前景伪标签像素,将附近高斯拉向这些3D点,推理网络不变。
研究团队将一条额外机械臂集成到人形机器人平台,考察形态增强如何改变其可行动作空间。控制上采用基于模型的轨迹优化为目标条件强化学习控制器生成动力学可行运动,控制器在仿真中训练后以零样本方式迁移到硬件,实现接触丰富的三臂全身移动操作。团队还在部分任务上用硬件演示训练的扩散策略展示了视觉引导的自主执行。
作者提出向量量化世界模型 VQ-WM,将离散潜空间长程搜索与连续视觉反馈控制结合,用于机器人操作规划。该方法用首达时间的准度量估计替代欧氏距离,使规划抽象与控制器能力对齐。在汉诺塔实机操作中,该方法仅用短演示数据即达到 100% 成功率,并在操作与运动仿真基准上比最强世界模型高出 13.3 至 85.3 个百分点。
推荐理由:论文把离散潜空间搜索与连续视觉反馈控制结合,并用首达时间估计对齐规划与控制器能力,为长程操作提供可迁移方法。
研究提出一种仿章鱼肌腱驱动软体连续臂,通过在臂内集成可充气壳体阵列,充气时局部摩擦增大、卡住肌腱,从而在臂上形成临时新锚点,自适应改变弯曲位置。实验显示驱动段呈非恒定钟形曲率,与真实章鱼臂伸展运动中的形态相近。作者称该设计相比传统单肌腱连续体操作器扩大了工作空间,并能通过选择性曲率调节独立塑造臂的不同区域,同时避免多段多执行器系统的机械复杂度。
AQUAACT 是作者称为首个公开的语言标注水下数据集,将相机图像与人类摇杆指令配对,包含 1.9 小时真实演示和 17.9 小时仿真演示,并附车辆惯性测量数据。实验显示仿真演示可迁移到真实数据,并大幅减少策略所需的真实演示量。在仿真中对七种策略(从模仿学习基线到 VLA 模型)的闭环基准测试显示,没有策略完成超过五分之一的回合,陆上数据预训练也未让大型 VLA 模型优于从头训练的小策略。
推荐理由:论文公开了带语言标注的水下遥操作数据集,并用七种策略的闭环基准说明水下自主任务仍未解决。
CusADi2 是一个开源软件库,通过在单个批次实例内部额外并行化计算,降低机器人运动学、雅可比与海森矩阵的批量求值延迟。
推荐理由:该库在 MuJoCo Menagerie 全部 67 个机器人上对比多种基线,给出批量运动学与雅可比、海森计算的低延迟方案。
BiDex-100 是一个面向双臂灵巧操作的仿真基准,包含106项任务,按泛化、指令跟随、少演示、长时程和记忆五个能力维度组织。每项任务配有受控视觉与空间变化的域外变体,用于评估鲁棒性;基准支持两种本体,提供8,080条经成功验证的遥操作演示,共625万帧。作者在统一协议下评测了七个近期视觉-语言-动作模型,给出各能力维度、鲁棒性和数据效率的基线结果。
推荐理由:该预印本给出106项双臂灵巧操作仿真任务与7个VLA模型的统一评测基线,可用于比较现有模型的能力与鲁棒性。
Behnam Moradi 提出 Self-Crystallizing Behavior Trees(SCBT),把基础模型当作编译器而非运行时,在行为树节点失败时由 LLM 提出最小子树补丁,经 CMA-ES 调参、上下文赌博机决定是否调用 LLM,并通过静态检查、不变量监控回放和相对未修补树的经验余量三阶段准入。
推荐理由:论文把大模型推理编译成确定性行为树,并给出仿真中的调用次数与任务成功率对比,可了解基础模型与经典控制结合的一种路径。
论文提出一种共享自主仲裁策略,利用多模态意图推断所得信念分布的熵动态调整自主等级。人类意图用动态贝叶斯网络建模,依据遥操作中操作者实时注视数据和机械臂运动更新目标信念,再将人类输入与自主控制的融合表述为模型预测控制问题,实现从直接遥操作到完全自主的连续过渡。
推荐理由:论文用眼动与机械臂运动推断操作意图,并据此在遥操作与自主控制间连续调节权限,可与既有共享自主方法对照。
作者提出 SurGPT 基础模型,可自动分析达芬奇手术机器人视频,同时完成手术任务分类(打结、穿针、缝合)、标准化技能水平评估和手术手势自然语言描述三项任务。模型结合视觉编码器与 transformer 架构,用位置编码建模时序、注意力机制整合时空特征,并以自适应不确定性加权进行多任务学习。在达芬奇技能模拟器数据集上,作者称其在手术任务识别上达到当前最优表现,技能评估结果与专家评价相关。
作者提出 RCRA 在线自适应框架,依据估计的行人反应性调节冻结保守导航策略周围的残差。基于 Transformer 的反应性估计器在仿真中比假设行人目标已知的贝叶斯基线场景平均准确率提升 12.62 个百分点。在每场景成功率均超过 90% 的基线中,RCRA 相对保守骨干网络将场景平均路径长度缩短 16.7%,相对随机训练基线缩短 7.3%,平均成功率比反应性训练策略高 14.88 个百分点。
作者提出 T(R,O) Grasp++,一个面向杂乱环境的跨本体灵巧抓取合成扩散框架,并构建约 0.5B 条抓取标注、覆盖八种灵巧手和约 5 万物体的仿真基准。实验称该模型在八种灵巧本体上平均成功率达 88%,推理时延仅 0.3s,推理样本效率提升 10 倍以上。该工作为预印本,结果基于仿真实验。
推荐理由:论文给出约5亿条抓取标注的仿真基准与跨八种灵巧手的扩散抓取框架,可用于比较杂乱场景抓取方法。
AeroDASH 是一个面向无人机连续语言条件飞行的异步 VLA 框架,通过 B 样条策略监督微调与轨迹融合处理机载推理延迟造成的轨迹错位。在 UAV-Flow 测试集上,其成功率为 76.56%,分别高出 OpenVLA-UAV 和去掉 GRPO 的 AeroDASH 38.1 和 20.1 个百分点。
作者提出一种用 Energy Score 训练的注意力混合密度策略,将未来视觉运动轨迹表示为显式概率分布,单次前向即可输出高斯混合参数,以避免 MDN 奇异性和梯度尺度不稳定。在 8 自由度机械臂上,该方法生成不同的避障轨迹并稳定避障学习;在随机移动物体抓取任务中,其在若干未见条件下比 Diffusion Policy 高 15-25%。
针对传感器刚性安装假设限制视觉惯性里程计适应性的问题,该研究提出基于Denavit-Hartenberg约定并引入机器人运动学模型的动态相机-IMU外参标定方法,配合两步初始化策略估计初始关节角,实现时变外参的在线估计。仿真实验显示该框架可适应相机-IMU外参变化并保持有竞争力的定位精度。
TILDE 提出一种从预训练具身基础模型向未做动作预训练的策略迁移能力的蒸馏框架,结合学生状态上的在线蒸馏与教师执行恢复轨迹的学习。其 AutoDAgger 用机器人奖励模型监测任务进度并触发教师介入,无需人工监控或操控,恢复轨迹采集速度比人类在环方法快 2 倍以上。在三个真实世界任务上,TILDE 的任务表现最高为行为克隆的 4.1 倍,并支持跨架构蒸馏。
推荐理由:论文提出从具身基础模型蒸馏策略的框架,并给出自动数据聚合与实机任务对比结果,可供关注策略迁移的研究者参考。