ReSTEP数据集与REMORA模型:面向长程机器人任务的进度跟踪基准
作者开源ReSTEP数据集,包含两个操作任务的3156条轨迹,带语义阶段标签和帧级错误标注,覆盖成功执行、失误与恢复过程。基于该数据集,作者提出在线进度估计器REMORA,结合循环视觉记忆、分布预测和因果峰值选择来跟踪任务进度。在两个ReSTEP任务上的实验显示,REMORA在进度准确率和时间一致性上优于SARM基线。
推荐理由:论文开源了带帧级错误标注的长程操作数据集,并提出在线进度估计模型,可供比较任务进度监控方法。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
作者开源ReSTEP数据集,包含两个操作任务的3156条轨迹,带语义阶段标签和帧级错误标注,覆盖成功执行、失误与恢复过程。基于该数据集,作者提出在线进度估计器REMORA,结合循环视觉记忆、分布预测和因果峰值选择来跟踪任务进度。在两个ReSTEP任务上的实验显示,REMORA在进度准确率和时间一致性上优于SARM基线。
推荐理由:论文开源了带帧级错误标注的长程操作数据集,并提出在线进度估计模型,可供比较任务进度监控方法。
作者提出 CAPTURER 灵巧空中机械臂,用于在多种环境下实现厘米级抓取。系统包含机载感知与目标检测、漂移校正与全局位姿变换、协调飞行平台与机械臂的协同运动规划,以及补偿动态耦合、模型不确定性和外部扰动的抗扰控制器。室内外静态与移动目标实验显示,其在超过 1.5 m/s 的飞行速度下对直径仅 1.5 cm 的记号笔实现厘米级抓取精度。
论文提出 Tactus,一款织物集成传感手套,同时提供指尖触觉力感知与抗遮挡手部位姿追踪,用于采集自然状态下的人手操作演示数据。其指尖堆叠厚度为 1.5 mm,在 95% 置信度下最小可检测力为 0.59 N,比两款商用触觉手套基线低 1.6 至 2.7 倍,跨参与者一致性为 0.87;操作过程中遮挡最严重时指尖关键点相对误差为 11.0 mm。
推荐理由:论文给出触觉手套的传感配置与跨平台量化对比,可用于评估灵巧操作数据采集方案。
Jiahe Wang等提出一种嵌入式形状感知框架,用IMU与执行器反馈经神经网络重建连续体机器人形状,以400 Hz提供形状反馈用于物理闭环控制。在一段与三段连续体机器人上训练超过5000个模型后,所选框架的全局形状误差分别为0.9%L和1.7%L;闭环控制中一段末端跟踪误差为6.1%L,三段形状控制全局误差为2.3%L,而使用相同未补偿测量的IMU-PCC重建则失败。
推荐理由:论文用IMU与执行器反馈重建连续体机器人形状,并给出闭环控制误差,可供受限空间机器人感知方案参考。
Qiyang Li、Sergey Levine 等提出 Data Inoculation(DI),一种共享控制数据采集框架:人类提供闭环遥操作指令,残差策略在线训练并扰动这些指令,使机器人接触更广的状态范围,人类的持续纠正则提供恢复演示。作者称在三个真实机器人任务上,DI 的成功率持续优于或持平行为克隆与离线 RL 训练的策略。论文为预印本,未给出任务细节与成功率分母。
推荐理由:论文提出共享控制的数据采集框架,用残差策略扰动遥操作指令,为机器人演示数据的覆盖问题提供可迁移方法。
Catch It All! 提出面向人形机器人的 sim-to-real 抓取框架,仅用一台自我视角相机即可完成上手与下手抓取,并泛化到未见物体。作者称策略可适应几何形状、可变形性、弹性等物理属性不同的新物体,并通过抓取奖励设计与安全感知课程支持接近硬件极限的高频动作执行,包括低至 5 Nm 的腕部力矩限制。
推荐理由:论文给出仅用单目自我视角相机、零样本部署于宇树 G1 的抓取框架,可用于比较动态抓取的泛化设定。
论文提出 RFWalk,一个仅依赖射频传感的自监督里程计框架,将距离-方位帧间的稠密对应建模为时空图上的随机游走,并通过时间循环一致性从无标注序列中学习。为排除循环一致但物理上不合理的对应,作者引入多普勒一致性损失,用射频传感器自身测得的径向速度约束对应关系诱导的运动,再通过鲁棒的 SE(2) 配准恢复自运动。
研究提出一种元学习图神经网络,利用物体的语义、几何与关系历史,从少量在线观测预测新环境中物体何时开始运动。该方法仅在仿真中训练,却能预判训练时未见的物体,并无需微调迁移到硬件,在仿真和硬件实验中优于一个视觉语言模型和类别频率基线。在闭环导航仿真中,其预测支持无碰撞通行,同时与最快但易碰撞的规划器相差不超过四秒。
研究团队提出基于 CUDA 的事件相机仿真器,将其接入可微仿真管线,使梯度可直接通过可微物理模型回传,从而端到端训练把事件帧直接映射为控制指令的策略,无需中间深度估计。作者在四旋翼上完成零样本实机部署,在有里程计辅助和无里程计两种设置下均实现避障,并覆盖传统相机通常失效的低光条件。该工作为 arXiv 预印本。
推荐理由:论文把事件相机仿真接入可微物理管线,省去深度估计中间环节,并给出四旋翼零样本实机避障结果。
Anoop Kiran 等人提出一种在级联控制架构中决定鲁棒控制应放在哪些回路的方法,全部控制均在飞行器上运行。他们通过反演运动方程从 PID 悬停飞行中恢复扰动信号,识别并量化被激励的轴,再在关键轴部署鲁棒控制。
研究提出一种带被动拖车的铰接履带车动力学模型,并在冰面上实验评估,其预测表现优于运动学基线。作者还提出混合动力学-运动学模型以适应不同路面和情境,并在无常规转向机构的单履带车上演示惯性转向:内部质量受控移动可在冰面产生转向,该行为可用所提动力学模型将内部质量视为无摩擦拖车来预测。
Haotian Zhai 等人提出 AtomTree,一个用 LLM 做状态感知任务规划的分层框架,逐步构建子目标与动作树,由 LLM 依据当前符号状态决定继续分解还是输出接地的低层动作。框架包含轻量记忆模块复用过往结果,并在低层动作停滞时触发分层回溯重规划,从最新状态重新生成子树计划。在 ALFRED 基准的零样本评测中,AtomTree 表现优于此前的 LLM 规划器。
作者提出一种分层规划与控制框架,让低层控制器反向引导高层轨迹选择:顶层MPPI规划器不依赖显式代价地图,而是用预训练低层强化学习控制器的价值函数作为隐式代价,MPPI负责轨迹探索、价值函数引导搜索。
QbD-VLA 提出一种任务引导的混合精度量化方法,用短闭环评估中的任务成功率分配权重与激活位宽,并考虑模型组件间的相互影响。实验覆盖四个 VLA 模型和 LIBERO 全部四个套件,权重平均约 4 位、激活少于 6 位时仍保持较强任务表现;在 SIMPLER 上相对均匀量化的增益较小。
推荐理由:论文用闭环任务成功率指导 VLA 混合精度量化,并给出仿真与 Franka 实机上的差异结果,可供关注 VLA 部署成本的研究者参考。
作者提出 TERRA 在线自适应框架,用奖励加权预测损失修正仿真训练的世界模型,并训练损失预测器估计未来与性能相关的误差位置,以此在 MPC 中引导探索。仿真中,在严重分布外预训练条件下,TERRA 约在五次试验内达到约 90% 爬坡成功率,在奖励、完成时间和首次成功能耗上优于探索基线。
推荐理由:论文提出面向行星漫游车的在线自适应框架,用奖励加权预测损失引导探索,并给出仿真与 ERNEST 实机试验结果。
智元机器人提出Worken机器人有效工作量衡量框架,将活跃机器人数量、自主工作小时数与产出效率比三者相乘,定义为有效智能工作时长。该框架强调区分通电时间与自主生产时间,产出效率比需对照具体任务的既定基准。智元以10台机器人各自主工作6小时、效率比0.8的假设示例演示计算,并明确该数字非实际部署结果。
一项系统映射从4195篇文献中筛选出235项测量或缓解自动驾驶系统测试现实差距的研究,按六类测试组件区分仿真与实机执行。其中76%聚焦缓解,主要针对场景与参与者真实感及感知;仅61项报告覆盖多类指标的度量,且不足以建立差距与测试结论间的因果联系。研究据此呼吁按主张分别评估并做组件级报告。
研究提出TRIM,一种不修改、不重训检测器的轻量时序监控器,用于发现3D目标检测的漏检失败。TRIM用通道级统计概括中间激活,再以时序卷积网络处理短序列;在NuScenes上,相比单帧监控,AUROC从0.686提升到0.704,95%召回下的误报率从0.818降至0.759。早期与中间骨干特征提供的监控信号最强,时序推理头在CPU上仅需0.159 ms。
研究提出面向智能轮椅的多层导航系统MLNS,可在未知环境中解读并安全处理有限或错误的用户指令。该系统由ViSPF障碍检测、MPC轨迹生成、开放词汇视觉目标识别和优先队列目标选择组成,并在真实智能轮椅上由10名无残障参与者完成含故障输入接口场景的实验。
Nadeen Elhadad 等提出约束感知强化学习框架,从接触力在线推断可行的拆卸方向,在机器人无关的物体中心仿真中训练后零样本部署到实机。该方法结合粒子滤波信念提供时序积分的方向信息,在四类真实任务上成功率分别为 100%、100%、90% 和 75%,且每项任务路径效率最高;在空调前盖上相比未使用该信念的策略把成功率从 45% 提升到 75%。
推荐理由:论文用接触力在线推断拆卸方向,并在四类真实任务上给出成功率,可看力觉策略从仿真零样本迁移到实机的做法。
Synthoid.ai 的 VLA Research Team 提出 SaiVLA-JEPA,在 VLA 流策略中接入冻结 V-JEPA 编码器特征,并在 10,030 对 LIBERO-Plus 回合上比较三种设置。
推荐理由:论文在 LIBERO-Plus 配对闭环试验中比较 JEPA 条件与未来表征监督,给出成功率对照与负结果。
论文提出 OmniQuad 轮足混合机器人,将麦克纳姆轮与腿式运动结合,以兼顾不平地形适应性与室内移动效率。作者介绍了定制麦克纳姆轮式足的设计、由该轮式足与 EM-Act 执行器组成的整机装配,以及配套控制方案,并在室内外环境中开展实验评估其性能。
作者提出基于直线骨架的自动标注算法,无需人工干预即可生成双指抓取关键点,并训练出4-DoF的SkelGG-CNN。该模型在Jacquard V1、Jacquard V2和Cornell上分别达到95.42%、96.55%和97.1%的准确率;6-DoF自动标注在GraspNet novel split上平均精度为18.33。
推荐理由:论文提出基于骨架的自动抓取标注流程,并给出4-DoF与6-DoF在公开数据集、仿真和Delta并联机器人实机上的结果。
SpaceAct 是一个交互式基准,通过闭环物理动作与主动感知评测多模态大模型的3D时空推理,并配套提出 SAPA 时空主动探测智能体框架。基准基于积木与机械谜题构建,覆盖6类36个任务族共108个已验证实例,不提供特权坐标,并设有 +plan、+state、no-camera、blind、L7 levers 等诊断模式。
推荐理由:该基准用闭环物理动作和主动感知考察多模态模型的3D时空推理,并给出10个前沿模型的诊断性对比。
一个为期三年的ROS 2人机交互联盟在集成大语言模型与视觉模型的过程中发现,机器人Alice在人类拒绝邀请后先转身说“没关系,都挺好”再驶离,语序改变了信息含义,另一次则在访客就站在主人身旁时报告访客已到。研究据此提出关于注意力、知识、承诺、具身时序与行动权限的五条设计经验,并引入TRACE轻量审查方法,通过改变一个交互前提追踪至决策或执行边界以产出架构发现。
ELEVATE 框架利用任务程序优化中的持续失败识别缺失的全身控制能力,由编码智能体构建并迭代强化学习问题,验证后的控制器加入能力库并与已有控制器组合重试任务。
推荐理由:论文展示编码智能体从任务失败中自动合成全身控制器的闭环流程,并给出仿真与实机迁移的成功率数据。
Zhiyuan Xiang 等提出两阶段后训练框架 Cascaded Skills Optimization(CSO),用于修正 VQ-VAE 类离散技能先验的量化误差。
推荐理由:论文提出两阶段后训练框架,用于修正离散技能先验的量化误差,并给出LIBERO与实机单臂任务的成功率对比。
作者提出 FEEL,一种不确定性感知的残差方法,从本体感知历史估计逐指外力大小,部署时无需专用接触传感器。该方法将校准的虚拟弹簧估计与混合密度网络(MDN)预测的残差分布结合,在十指、0-20 N 接触力范围内平均 RMSE 为 0.251 N,较虚拟弹簧降低 92.8%,较端到端 MDN 降低 9.4%。
一项 arXiv 预印本研究提出面向零样本视觉语言导航的时空记忆系统,由 8B observer 总结观测、8B reasoner 依据任务、时序与空间三类记忆选择路点意图或请求新视角,再由几何控制器执行。
推荐理由:论文拆解零样本视觉语言导航中任务进度、观测历史与几何记忆各自的作用,并给出记忆消融与实机对比结果。
Chanyoung Park 等提出 Selective Compositional Diffuser(SCD),通过可达性度量处理组合式扩散规划中重叠片段平均导致的模式平均问题。
一篇 arXiv 综述梳理物理AI中的递归自我改进,即系统不仅从部署经验更新策略、世界模型、技能和可执行程序,还会修订并复用数据采集、反馈或学习流程。文章区分学习器更新与改进器,比较策略学习、想象经验、记忆与技能积累、可执行框架等路径,并提出 L0-L3 分级,分别对应任务局部适应、持久能力增益、继承式流程修订和经核验的改进器增益。
MATCH 是一个联合学习语言条件规划器与目标条件原子动作执行器的框架,用于连续环境视觉语言导航(VLN-CE)。它用执行感知拓扑图表示依赖起点的执行选项,并结合执行器价值估计与实际结果记忆,让规划器通过有界连续偏移细化执行请求。该模型以 0.5B 参数在 R2R-CE 和 RxR-CE 基准上取得 state-of-the-art,初步实机部署也展示了应用潜力。
推荐理由:论文把执行器能力纳入规划器训练,为连续环境视觉语言导航提供可迁移的分层强化学习方法。
SimRetract 展示开放手术中牵开器接管的零样本仿真到现实迁移,机械臂从外科医生手中接过牵开器并在交接时保持牵开,策略仅用仿真演示训练,无需人类演示或真实世界微调。
推荐理由:论文把零样本仿真到现实的差距拆到具体组件,并给出消融数据,可供做手术辅助操作迁移的研究参考。
HERON 提出用 3D U-Net 从实时深度相机预测障碍感知可达图,在 Jetson AGX Orin 上以 TensorRT 和 INT8 量化部署,平均 115 ms 预测机械臂周围 2.56 m 立方体区域,系统速率 8.57 Hz,接近障碍地图 10 Hz 的更新率。
推荐理由:论文给出嵌入式硬件上实时预测障碍感知可达图的方法与量化指标,可用于比较移动操作臂的在线重定位方案。
CuraEval 是一个评估机器人模仿学习演示筛选方法的框架,在混合技能 robomimic 数据上用 Diffusion Policy 和 BC-RNN 与同规模随机子集及全量训练做受控对比。
纽约大学等团队发布预印本 Embodied at Sea,研究模仿学习在水下多任务操作中的表现。团队在平静与湍流水域采集1616条水下操作数据,训练14个不同本体感知配置的 DynamicVLA 模型,在泳池1260次可评分实机回放中10个模型超过基线,最佳模型总体成功率93.3%(含部分成功)。
推荐理由:论文给出水下多任务模仿学习的实机回放数据与开源工具包,可用于比较通用VLA与单任务策略在域偏移下的表现。
研究提出一个实验框架,用于确定运行固定独立行为树、使用私有黑板的机器人团队所需的充分通信量,以每机器人决策的接收方加权比特数衡量流量。在四种仓库条件下测试八种内容策略,低争用条件下零通信即为精确最小值;扩展条件下门控 q=0.992222 的无释放策略被确认充分,成功率达 96.33%,估计速率为每机器人决策 738.55 比特,为全状态通信的 0.544%。
SKiD-SLAM 是一套面向行星探测的分布式多机器人 LiDAR SLAM 系统,作者在韩国完成两次野外部署验证。轮式漫游车在济州岛 Majang 熔岩管洞穴探索,四足机器人在涟川 KICT 的行星模拟地形执行陨石坑与岩石科学场景,系统在 250 kbps 机器人间通信预算内完成分布式多机器人 LiDAR SLAM。
推荐理由:报告给出分布式多机器人激光SLAM在250 kbps通信预算下的两次实地部署,可了解行星探测场景的资源受限方案。
针对全向逃逸者从 Reeds–Shepp 追捕者前向锥形视野中最小时间逃逸的问题,研究求解了速度比 ν>1、半角 0<α<π/2 的全部情形,给出逃逸时间的显式特征刻画与标量方程选根方法,并证明其为每个状态下非预期策略博弈的值。逃逸者在正面轴扩散线端点 E 之上沿通用线追击倒车的追捕者,追捕者最优策略沿用较慢情形的接力策略;水平集与半拉格朗日计算结果与博弈值进行了比较。
arXiv 预印本论文 Same Label, Different Interface 研究机器人学习中位置与速度动作标签无法决定机器人实际执行内容的问题。作者在 PegInsert、GearMesh、NutThread 三个接触密集 Factory 任务上,用同一学习器和训练预算比较五种关节空间接口,每种条件独立训练十个策略。