LocoPilot:单操作员双边遥操作采集四足移动操作策略数据
LocoPilot 是一个单操作员双边遥操作与数据采集框架,部署在 12 自由度 Unitree Go2 四足机器人上,该机器人搭载 6 自由度 AgileX Piper L 机械臂、Intel RealSense D435 腕部相机和 D405 头部相机。
推荐理由:论文给出单操作员双边遥操作采集四足加机械臂演示的完整方案,并展示从采集到策略部署的同一动作接口。
技术方向
与机器人感知、决策和物理交互直接相关的机器人学习进展
256 条精选近 30 天 254 条共收录 403 条
LocoPilot 是一个单操作员双边遥操作与数据采集框架,部署在 12 自由度 Unitree Go2 四足机器人上,该机器人搭载 6 自由度 AgileX Piper L 机械臂、Intel RealSense D435 腕部相机和 D405 头部相机。
推荐理由:论文给出单操作员双边遥操作采集四足加机械臂演示的完整方案,并展示从采集到策略部署的同一动作接口。
Yu 等人提出 HuTact 框架,从大规模人类手物交互数据预训练触觉感知手部表征,预训练阶段不需要真实触觉信号。该方法把从人手运动中学到的交互结构迁移到机器人触觉观测,并可用少量无标注机器人交互数据进一步适配。
推荐理由:论文提出用人类手物交互数据预训练触觉表征,并给出抓取预测在少样本下的对比数字,可供触觉学习数据来源参考。
EventSync 是一个分层框架,通过事件驱动的记忆更新协调任务推理与动作执行:视觉语言模型依据任务计划和交互历史生成子目标,视觉-语言-动作模型负责执行,轻量 Event Monitor 结合视觉观测与末端执行器轨迹判断当前子目标是否完成,只有取得完成证据后才写入已完成子目标历史并触发下一步推理。
推荐理由:论文提出事件驱动的子目标完成判定与记忆更新机制,并在 RoboMME 基准和四类实机任务上给出结果,可供做长程操作记忆的研究者参考。
作者提出一种验证引导的训练框架,用安全约束的概率枚举检测前向不变性违规,生成比标准对抗攻击方法更精确刻画失败边界的反例集。用该表示微调预训练的 HJ 值函数,在所有测试基准上得到更大的认证区域并缩短认证时间。作者还基于精炼后的证书设计部署期屏蔽机制,在基于物理的 Isaac Sim 环境和真实自主竞速实验中,相比标称控制器和基于线性二次调节(LQR)的备份策略实现零安全约束违规。
推荐理由:论文把安全约束枚举用于微调神经 HJ 证书,并在 Isaac Sim 与实车竞速中对比标称控制器和 LQR 备份策略。
作者提出一种多视角潜动作模型(LAM),用交叉注意力融合同步多相机视角以消解深度与遮挡,再压缩为潜动作,并接入由潜专家与动作专家经顺序流匹配耦合、冻结VLM骨干的策略。
推荐理由:论文比较多视角与单视角潜动作预训练在6D动作可解码性和跨本体迁移上的差异,并给出实机验证。
研究在单一经审计的 HighwayEnv 测试台(1Hz,决定性对比使用 gpt-4o-mini)上受控评测经验记忆对闭环 LLM 驾驶智能体的作用,将热启动池视为重采样随机因子(十个不相交池)并加入 token 匹配的无关填充对照。
推荐理由:在单一 HighwayEnv 测试台上用重采样热启动池与 token 匹配对照,检验经验记忆对闭环 LLM 驾驶智能体的增益是否稳健。
Yubang Wang 等提出 Tactile-ETA,将触觉经验以上下文学习方式注入具身任务智能体,在不更新模型参数的情况下完成精细操作。系统把专家演示中的机器人运动与相机视图、双侧触觉观测配对,保留运动起止触觉图像并在触觉变化明显时加入两个相邻时间点。
推荐理由:论文给出触觉经验通过上下文学习进入具身任务智能体的方法,并对比仿真与实机成功率变化,可供触觉操作研究参考。
论文提出 Action Influence Maximization(AIM)算法,主动采集训练数据以提升数据集的动作影响力,从而改善动作条件世界模型对指令的响应。
推荐理由:论文把动作条件视频模型忽略指令归因于训练数据的动作影响力上限,并给出主动采数据的改进方法,可用于理解世界模型可控性。
PhysWord 是一个先推理后动作的机器人基础模型,用原子动作动词作为共享语义锚点,把物理动态的连续表示组织成可复用的推理原语。模型预测未来原子动作词,并将其上下文隐状态与对应未来观测导出的潜在目标对齐,再按时间自回归预测 Physical Words 以捕捉执行阶段转换。
推荐理由:论文提出以原子动作动词为语义锚点的推理先验框架,并给出仿真基准与实机操作的成功率对比。
作者在 arXiv 预印本中报告,GPT-6 Astra 可直接解读基于视觉的触觉图像,并通过其现有视觉接口在 19 个仿真 UniVTAC 与 OpenViTac 任务上实现少样本闭环控制,每个设置采样 210 个场景种子。
推荐理由:论文在仿真触觉基准上比较通用多模态模型与专用策略,并给出视觉单独输入时的对照结果。
PICA-WAM 提出一种自监督训练框架,把视觉扰动不变性作为世界动作模型(WAM)的辅助跨外观自对齐任务。方法用指数滑动平均(EMA)教师处理原始观测并提供更深层目标,在线 WAM 处理受扰动观测,通过轻量投影头将较浅层动作表示对齐到该目标。
推荐理由:论文指出世界动作模型对任务无关视觉扰动敏感的训练缺口,并给出可迁移的自监督对齐方法。
DexOAK 是一个基于学习的物体感知运动学重定向框架,可从人体动作捕捉数据生成接触一致的机器人手部参考。它先在手-物联合图上最小化交互图拉普拉斯目标,再训练以人体关键点和物体点云为条件的前馈网络,并用接触、非穿透和自碰撞损失微调,训练后仅靠推理即可迁移到未见数据。
推荐理由:论文给出物体感知的运动学重定向方法,并报告双手任务成功率与实机开环回放结果,可供灵巧操作数据生成参考。
论文提出 Prior-Informed Adaptation(PIA),一个离线到在线的基于模型强化学习框架,先在高保真与低保真仿真轨迹上预训练世界模型,再用不确定性正则化规划在目标域少量交互中完成适应。
推荐理由:论文提出用仿真轨迹作为有偏先验、在线校正残差的世界模型强化学习框架,并在真实赛车实机验证少样本适应。
RoboValue 是一个细粒度仿真与实机基准,用于统一评测机器人价值模型,通过共享接口考察任务状态理解、时序进度监控、失败与恢复推理、价值一致性四个能力维度。
推荐理由:该预印本提出覆盖四类能力维度的机器人价值模型评测基准,并给出仿真与实机任务上的诊断结果。
论文提出 Value Disaggregation(VaDar),训练一个与子目标无关的单一策略,最大化各子目标 critic 值的线性组合,子目标信息只在训练时使用,部署时无需选择子目标。
推荐理由:论文提出用价值分解替代子目标条件策略,省去部署时的子目标选择,并在 RoboCasa 长程任务上给出对比结果。
SPAR 提出对 VLA 模型 LLM 主干同时剪枝隐藏层与前馈中间维度,再用强化学习恢复策略性能。应用于 π0.5 时,语言主干从 2.34B 降至 0.09B 参数,完整模型从 3.37B 降至 1.12B,分别移除约 96% 和 67% 的参数。
推荐理由:论文给出 VLA 模型结构化剪枝后接强化学习恢复的具体压缩比例与 LIBERO 成功率变化,可作为紧凑策略部署的参考。
RoboMMT 提出一种模块化控制架构,将参数化表达动作合成、基于物理的角色控制与面向空间交互目标的反应式适应耦合起来,训练一个参考条件跟踪策略在广泛表达域内保持动态稳定。
推荐理由:论文给出耦合表达动作合成与物理角色控制的模块化架构,并对比了覆盖域不足的跟踪器失稳情况。
Cartender 提出从真实驾驶记录中学习未被采取的分支,用视觉语言模型生成替代未来及对应指令,并以不支持的指令作为负标签,从而在无仿真器条件下构造匹配与不匹配的指令-动作对。
推荐理由:论文用真实记录构造反事实分支来监督语言条件驾驶,并给出同场景换指令的评测方式,可供研究语言条件策略如何区分场景约束与指令。
OmniInteract 提出面向双人形机器人全身物理交互的统一控制方法,通过表面接触感知重定向与可扩展残差策略学习应对人机形态差异和交互多样性增长带来的控制保真度下降。
推荐理由:论文提出面向双人形机器人全身交互的统一控制方法,用表面接触感知重定向与残差策略分解应对形态差异和技能扩展。
SkateNav 提出一个基于强化学习的滑行导航框架,让被动轮四足机器人同时学习转向、推进和两者的时间分配。该框架用带时间预算的到达目标替代速度跟踪,并通过自适应滑行周期与每步频率调制调整滑行、推进和恢复的时长。
推荐理由:论文给出滑行导航的强化学习框架与仿真对比,并展示从仿真到被动轮 Mini Cheetah 的零样本迁移。