ScheduleGen:面向多臂模仿学习的技能调度演示生成方法
ScheduleGen 是一种面向多臂机器人模仿学习的规划与调度算法,用于从少量源演示合成新演示并规避多臂约束带来的不安全行为。在 28 个仿真任务变体(含 7 个外部 RoboDojo 任务)上,其平均数据生成成功率为 79.6%,训练出的策略平均成功率为 65.5%,优于所对比的数据生成基线。
推荐理由:论文提出面向多臂约束的演示生成规划与调度算法,并在仿真与真机迁移任务上给出成功率对比。
技术方向
与机器人感知、决策和物理交互直接相关的具身智能进展
143 条精选近 30 天 140 条共收录 290 条
ScheduleGen 是一种面向多臂机器人模仿学习的规划与调度算法,用于从少量源演示合成新演示并规避多臂约束带来的不安全行为。在 28 个仿真任务变体(含 7 个外部 RoboDojo 任务)上,其平均数据生成成功率为 79.6%,训练出的策略平均成功率为 65.5%,优于所对比的数据生成基线。
推荐理由:论文提出面向多臂约束的演示生成规划与调度算法,并在仿真与真机迁移任务上给出成功率对比。
该预印本提出一种轻量几何预测头,接在冻结的0.5-2B VLM骨干上,从中间隐藏层读取特征,经任务指令条件化查询和视觉token交叉注意力,直接回归可供性框与轨迹路点。
推荐理由:论文指出自回归解码是轨迹预测的主要瓶颈,并给出冻结骨干加几何预测头的替代方案,可供比较VLM空间输出方式。
作者提出UMI-Live,一套用于野外双臂数据采集的开源全栈UMI系统,其定制硬件集成相机与LiDAR-惯性传感、板载计算和供电,无需外部追踪设备或在采集环境中标定。系统提供简单录制界面,异步流水线并行进行SLAM重建并发布可直接用于训练的数据集,同时发布支持双YAM遥操作及VLA策略训练与推理的软件。作者用π0.5和MolmoAct2微调验证数据质量,在双臂抓放任务上成功率分别为10/10和8/10,并公开三个任务共40小时的UMI-Live数据及硬件设计、软件和复现指南。
推荐理由:该系统把相机与激光雷达惯性传感、机载计算和异步SLAM流程整合成免外部追踪的双臂采集方案,并附40小时数据与复现指南。
SONIC-K1 是作者称为首个面向 Booster K1 人形机器人的开放权重全身运动跟踪器,通过将 SONIC 框架适配到这一更小的机器人得到。策略在单张共享 GPU 上从零训练,算力只占 SONIC 报告算力的一小部分;在 MuJoCo 仿真中按 SONIC 的成功判据跟踪了几乎所有留出动作片段,并在外部基准上表现良好。
推荐理由:论文给出在单张共享 GPU 上从零训练小型人形全身运动跟踪策略的流程,并区分仿真与实机表现。
ProLoop 是一个进度感知闭环框架,从期望状态与执行状态之间的结构化关系显式推导子目标进度,再由学习到的 State-Relation Monitor 判断关系并聚合为进行中、偏离或完成。在 AgentBoard ALFWorld 和真实机器人平台上的实验显示,整体成功率提升 12.94%,Hard 任务提升 15.46%,环境交互次数减少 32.3%。
推荐理由:论文提出用状态关系显式估计子目标进度,并在仿真基准与实机平台报告成功率与交互次数变化,可供长程任务规划研究比较。
作者提出用仿真抓放交互生成的监督,将双侧六轴力/力矩历史与冻结语言空间对齐,预训练为语义结构化的物理表征。在仿真未见物体上,该表征支持以文本原型读出机器人动作、物体重量和抓取交互;在实机放置任务中,无需更新编码器、仅靠无标签校准即可识别接触与支撑状态,表现优于垂直力符号反转规则基线。对于预训练中未出现的连接器插入事件,低秩适配相比从头训练提升了数据效率。
推荐理由:论文把双侧六轴力/力矩历史对齐到冻结语言空间,为外接触感知提供可复用表征,并给出仿真与实机放置、连接器插入的验证路径。
OpenFlyV2 是一个统一的机载视觉-语言-动作架构,用共享视觉-语言表征在单一模型中支持语义理解、语言定位感知、空间推理与连续空中控制。紧凑动作专家将多模态上下文转为短时域航点,运动感知时序记忆与动作先验降低闭环执行计算开销;作者构建约 7 万条导航轨迹和 6 万对视觉-语言指令-响应的仿真数据集。
推荐理由:论文给出机载 VLA 在 Jetson Orin NX 上以 10 Hz 闭环飞行、零样本迁移到真实四旋翼的结果,可供比较机载与离板方案。
研究提出一种跨控制器迁移框架,让单一策略在上下文内适应不同控制器。该方法用指令动作与机器人实际运动的示例编码控制器下的行为交互,再由 transformer 上下文编码器汇总,使策略无需为每种控制器单独学习。实验覆盖六种控制器类型及控制器增益与柔顺性变化,实机结果显示平均成功率比朴素数据合并高 33 个百分点,在未见控制器模式上达到 50% 成功率,在未见控制器增益上达到 52%,并能迁移到控制器专属数据有限的任务。在 USB 插入、表面擦拭等接触丰富任务中,行为交互上下文使策略不仅调整动作,也调整策略。
推荐理由:论文给出跨控制器与跨本体的行为交互上下文编码方法,并报告实机成功率提升与未见控制器模式下的表现。
论文提出 CuBot-STT,将模块运输、接口锁紧与释放集成在一台外部机器人中,立方模块提供结构支撑与 24 V 配电。每个面上的齿轮传动把单路外部输入转换为四个螺旋锁紧点的运动,以保留内部空间。
推荐理由:论文给出模块化机器人外部运输与锁紧一体化设计及规划方法,可用于比较模块重构系统的接口与规划方案。
WorldFlow 提出一种生成式世界模型,通过将3D运动参数化为与视频网格对齐的连续位移 token,用统一的 Mixture-of-Transformers 骨干在 rectified-flow 目标下同时去噪视频与基于查询的3D轨迹。
推荐理由:论文把视频与3D轨迹放进同一生成骨干联合预测,并给出跨仿真与真实域的训练规模和基准误差对比。
RAIBO-Wagon 提出一套面向四足机器人拖挂拖车的实时导航框架,将 Conditional Flow Matching 与基于学习前向动力学模型的 MPPI 控制结合,用 CFM 缓解 MPPI 的初始化问题并加速收敛,再由 MPPI 迭代细化以超出 CFM 训练分布寻找可行解。
推荐理由:论文给出四足机器人拖挂欠驱动拖车的实时导航框架,并在实机窄道场景报告成功率与负载数据。
Event2Reward 提出从机器人演示中学习奖励的方法,用归一化时间标签锚定进度尺度,并用轨迹内的停滞、回退与恢复关系约束局部变化,将进度预测作为奖励塑形的势函数。
推荐理由:论文用轨迹内的停滞、回退与恢复关系约束进度预测,为从失败执行中构建稠密奖励提供了一种可迁移方法。
EgoContact 是一个大规模第一视角数据集,用于通过未来接触点预测评估学习到的操作先验的泛化性与精度,包含 22.5K 条人工核验的交互事件,每条含接触前观测、语义意图和像素级接触位置。
推荐理由:论文给出2.25万条人工核验的第一视角接触点数据,并展示将其用作现有可供性迁移策略记忆库后抓取成功率的提升。
作者开源ReSTEP数据集,包含两个操作任务的3156条轨迹,带语义阶段标签和帧级错误标注,覆盖成功执行、失误与恢复过程。基于该数据集,作者提出在线进度估计器REMORA,结合循环视觉记忆、分布预测和因果峰值选择来跟踪任务进度。在两个ReSTEP任务上的实验显示,REMORA在进度准确率和时间一致性上优于SARM基线。
推荐理由:论文开源了带帧级错误标注的长程操作数据集,并提出在线进度估计模型,可供比较任务进度监控方法。
论文提出 Tactus,一款织物集成传感手套,同时提供指尖触觉力感知与抗遮挡手部位姿追踪,用于采集自然状态下的人手操作演示数据。其指尖堆叠厚度为 1.5 mm,在 95% 置信度下最小可检测力为 0.59 N,比两款商用触觉手套基线低 1.6 至 2.7 倍,跨参与者一致性为 0.87;操作过程中遮挡最严重时指尖关键点相对误差为 11.0 mm。
推荐理由:论文给出触觉手套的传感配置与跨平台量化对比,可用于评估灵巧操作数据采集方案。
Jiahe Wang等提出一种嵌入式形状感知框架,用IMU与执行器反馈经神经网络重建连续体机器人形状,以400 Hz提供形状反馈用于物理闭环控制。在一段与三段连续体机器人上训练超过5000个模型后,所选框架的全局形状误差分别为0.9%L和1.7%L;闭环控制中一段末端跟踪误差为6.1%L,三段形状控制全局误差为2.3%L,而使用相同未补偿测量的IMU-PCC重建则失败。
推荐理由:论文用IMU与执行器反馈重建连续体机器人形状,并给出闭环控制误差,可供受限空间机器人感知方案参考。
Catch It All! 提出面向人形机器人的 sim-to-real 抓取框架,仅用一台自我视角相机即可完成上手与下手抓取,并泛化到未见物体。作者称策略可适应几何形状、可变形性、弹性等物理属性不同的新物体,并通过抓取奖励设计与安全感知课程支持接近硬件极限的高频动作执行,包括低至 5 Nm 的腕部力矩限制。
推荐理由:论文给出仅用单目自我视角相机、零样本部署于宇树 G1 的抓取框架,可用于比较动态抓取的泛化设定。
研究团队提出基于 CUDA 的事件相机仿真器,将其接入可微仿真管线,使梯度可直接通过可微物理模型回传,从而端到端训练把事件帧直接映射为控制指令的策略,无需中间深度估计。作者在四旋翼上完成零样本实机部署,在有里程计辅助和无里程计两种设置下均实现避障,并覆盖传统相机通常失效的低光条件。该工作为 arXiv 预印本。
推荐理由:论文把事件相机仿真接入可微物理管线,省去深度估计中间环节,并给出四旋翼零样本实机避障结果。
作者提出 TERRA 在线自适应框架,用奖励加权预测损失修正仿真训练的世界模型,并训练损失预测器估计未来与性能相关的误差位置,以此在 MPC 中引导探索。仿真中,在严重分布外预训练条件下,TERRA 约在五次试验内达到约 90% 爬坡成功率,在奖励、完成时间和首次成功能耗上优于探索基线。
推荐理由:论文提出面向行星漫游车的在线自适应框架,用奖励加权预测损失引导探索,并给出仿真与 ERNEST 实机试验结果。
Nadeen Elhadad 等提出约束感知强化学习框架,从接触力在线推断可行的拆卸方向,在机器人无关的物体中心仿真中训练后零样本部署到实机。该方法结合粒子滤波信念提供时序积分的方向信息,在四类真实任务上成功率分别为 100%、100%、90% 和 75%,且每项任务路径效率最高;在空调前盖上相比未使用该信念的策略把成功率从 45% 提升到 75%。
推荐理由:论文用接触力在线推断拆卸方向,并在四类真实任务上给出成功率,可看力觉策略从仿真零样本迁移到实机的做法。