Catch It All!:灵巧手实现可泛化的动态抓取
Catch It All! 提出面向人形机器人的 sim-to-real 抓取框架,仅用一台自我视角相机即可完成上手与下手抓取,并泛化到未见物体。作者称策略可适应几何形状、可变形性、弹性等物理属性不同的新物体,并通过抓取奖励设计与安全感知课程支持接近硬件极限的高频动作执行,包括低至 5 Nm 的腕部力矩限制。
推荐理由:论文给出仅用单目自我视角相机、零样本部署于宇树 G1 的抓取框架,可用于比较动态抓取的泛化设定。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
Catch It All! 提出面向人形机器人的 sim-to-real 抓取框架,仅用一台自我视角相机即可完成上手与下手抓取,并泛化到未见物体。作者称策略可适应几何形状、可变形性、弹性等物理属性不同的新物体,并通过抓取奖励设计与安全感知课程支持接近硬件极限的高频动作执行,包括低至 5 Nm 的腕部力矩限制。
推荐理由:论文给出仅用单目自我视角相机、零样本部署于宇树 G1 的抓取框架,可用于比较动态抓取的泛化设定。
论文提出 RFWalk,一个仅依赖射频传感的自监督里程计框架,将距离-方位帧间的稠密对应建模为时空图上的随机游走,并通过时间循环一致性从无标注序列中学习。为排除循环一致但物理上不合理的对应,作者引入多普勒一致性损失,用射频传感器自身测得的径向速度约束对应关系诱导的运动,再通过鲁棒的 SE(2) 配准恢复自运动。
研究提出一种元学习图神经网络,利用物体的语义、几何与关系历史,从少量在线观测预测新环境中物体何时开始运动。该方法仅在仿真中训练,却能预判训练时未见的物体,并无需微调迁移到硬件,在仿真和硬件实验中优于一个视觉语言模型和类别频率基线。在闭环导航仿真中,其预测支持无碰撞通行,同时与最快但易碰撞的规划器相差不超过四秒。
QbD-VLA 提出一种任务引导的混合精度量化方法,用短闭环评估中的任务成功率分配权重与激活位宽,并考虑模型组件间的相互影响。实验覆盖四个 VLA 模型和 LIBERO 全部四个套件,权重平均约 4 位、激活少于 6 位时仍保持较强任务表现;在 SIMPLER 上相对均匀量化的增益较小。
推荐理由:论文用闭环任务成功率指导 VLA 混合精度量化,并给出仿真与 Franka 实机上的差异结果,可供关注 VLA 部署成本的研究者参考。
作者提出 TERRA 在线自适应框架,用奖励加权预测损失修正仿真训练的世界模型,并训练损失预测器估计未来与性能相关的误差位置,以此在 MPC 中引导探索。仿真中,在严重分布外预训练条件下,TERRA 约在五次试验内达到约 90% 爬坡成功率,在奖励、完成时间和首次成功能耗上优于探索基线。
推荐理由:论文提出面向行星漫游车的在线自适应框架,用奖励加权预测损失引导探索,并给出仿真与 ERNEST 实机试验结果。
作者提出基于直线骨架的自动标注算法,无需人工干预即可生成双指抓取关键点,并训练出4-DoF的SkelGG-CNN。该模型在Jacquard V1、Jacquard V2和Cornell上分别达到95.42%、96.55%和97.1%的准确率;6-DoF自动标注在GraspNet novel split上平均精度为18.33。
推荐理由:论文提出基于骨架的自动抓取标注流程,并给出4-DoF与6-DoF在公开数据集、仿真和Delta并联机器人实机上的结果。
一个为期三年的ROS 2人机交互联盟在集成大语言模型与视觉模型的过程中发现,机器人Alice在人类拒绝邀请后先转身说“没关系,都挺好”再驶离,语序改变了信息含义,另一次则在访客就站在主人身旁时报告访客已到。研究据此提出关于注意力、知识、承诺、具身时序与行动权限的五条设计经验,并引入TRACE轻量审查方法,通过改变一个交互前提追踪至决策或执行边界以产出架构发现。
ELEVATE 框架利用任务程序优化中的持续失败识别缺失的全身控制能力,由编码智能体构建并迭代强化学习问题,验证后的控制器加入能力库并与已有控制器组合重试任务。
推荐理由:论文展示编码智能体从任务失败中自动合成全身控制器的闭环流程,并给出仿真与实机迁移的成功率数据。
Zhiyuan Xiang 等提出两阶段后训练框架 Cascaded Skills Optimization(CSO),用于修正 VQ-VAE 类离散技能先验的量化误差。
推荐理由:论文提出两阶段后训练框架,用于修正离散技能先验的量化误差,并给出LIBERO与实机单臂任务的成功率对比。
作者提出 FEEL,一种不确定性感知的残差方法,从本体感知历史估计逐指外力大小,部署时无需专用接触传感器。该方法将校准的虚拟弹簧估计与混合密度网络(MDN)预测的残差分布结合,在十指、0-20 N 接触力范围内平均 RMSE 为 0.251 N,较虚拟弹簧降低 92.8%,较端到端 MDN 降低 9.4%。
Chanyoung Park 等提出 Selective Compositional Diffuser(SCD),通过可达性度量处理组合式扩散规划中重叠片段平均导致的模式平均问题。
一篇 arXiv 综述梳理物理AI中的递归自我改进,即系统不仅从部署经验更新策略、世界模型、技能和可执行程序,还会修订并复用数据采集、反馈或学习流程。文章区分学习器更新与改进器,比较策略学习、想象经验、记忆与技能积累、可执行框架等路径,并提出 L0-L3 分级,分别对应任务局部适应、持久能力增益、继承式流程修订和经核验的改进器增益。
MATCH 是一个联合学习语言条件规划器与目标条件原子动作执行器的框架,用于连续环境视觉语言导航(VLN-CE)。它用执行感知拓扑图表示依赖起点的执行选项,并结合执行器价值估计与实际结果记忆,让规划器通过有界连续偏移细化执行请求。该模型以 0.5B 参数在 R2R-CE 和 RxR-CE 基准上取得 state-of-the-art,初步实机部署也展示了应用潜力。
推荐理由:论文把执行器能力纳入规划器训练,为连续环境视觉语言导航提供可迁移的分层强化学习方法。
SimRetract 展示开放手术中牵开器接管的零样本仿真到现实迁移,机械臂从外科医生手中接过牵开器并在交接时保持牵开,策略仅用仿真演示训练,无需人类演示或真实世界微调。
推荐理由:论文把零样本仿真到现实的差距拆到具体组件,并给出消融数据,可供做手术辅助操作迁移的研究参考。
CuraEval 是一个评估机器人模仿学习演示筛选方法的框架,在混合技能 robomimic 数据上用 Diffusion Policy 和 BC-RNN 与同规模随机子集及全量训练做受控对比。
研究提出一个实验框架,用于确定运行固定独立行为树、使用私有黑板的机器人团队所需的充分通信量,以每机器人决策的接收方加权比特数衡量流量。在四种仓库条件下测试八种内容策略,低争用条件下零通信即为精确最小值;扩展条件下门控 q=0.992222 的无释放策略被确认充分,成功率达 96.33%,估计速率为每机器人决策 738.55 比特,为全状态通信的 0.544%。
arXiv 预印本论文 Same Label, Different Interface 研究机器人学习中位置与速度动作标签无法决定机器人实际执行内容的问题。作者在 PegInsert、GearMesh、NutThread 三个接触密集 Factory 任务上,用同一学习器和训练预算比较五种关节空间接口,每种条件独立训练十个策略。
论文提出用动作条件价值评论器扩展 PPO,通过在同一状态比较已执行动作与采样替代动作来改善信用分配,并结合广义优势估计与探索噪声约束。作者称该方法能在相同探索设置下逃离平台期,在 PPO 停滞的训练预算内完成精密轴孔插入任务。研究将 PPO 在长程接触丰富任务上的失败归因于状态价值评论器只按回合结果判断进展,导致策略收敛到部分解后无法区分动作优劣。
推荐理由:论文把 PPO 在长程接触任务上的停滞归因于状态价值评论器缺少动作区分,并给出可迁移的算法改动思路。
论文提出 Metatron,一种可提示的全身执行层,由生成式基础策略与可编程技能层组成。基础策略接收由定时身体部位目标、速度指令和风格线索组合成的提示,训练数据包括动捕、合成恢复轨迹和重定向场景交互动作,训练后策略被冻结。
推荐理由:论文给出冻结策略加可编程技能层的人形全身执行方案,并在 Unitree G1 实机上演示多类任务。
论文提出自标注偏好迁移方法SPT,让带偏好标注训练的VLA策略把偏好控制迁移到缺少偏好标注的新任务。SPT在带标注源演示上联合训练共享视觉语言骨干做偏好条件动作预测与偏好识别,再冻结识别器为目标演示自标注并微调策略。
推荐理由:论文给出偏好标注缺失时迁移执行偏好的自标注方法,并报告仿真与实机对比数据,可供研究VLA偏好控制的人参考。
论文提出 FORGE 两阶段学习框架,将在线降阶模型(ROM)参考生成与全身跟踪控制结合,用于人形机器人敏捷运动。第一阶段用单刚体动力学结合完整人形运动学训练命令条件化的全身参考生成器,第二阶段在线滚动冻结的 ROM 策略,为全阶动力学模型上的全身跟踪策略生成参考。
推荐理由:论文给出两阶段降阶模型参考生成与全身跟踪框架,并在宇树 G1 上报告速度与跳跃指标,可供人形运动控制研究比较。
Gagan Khandate 提出单阶段离策略强化学习框架 Echo,通过逆蒸馏让基于状态的辅助策略模仿不断演化的视觉策略,并收集无需渲染的低成本经验,再借助共享特权评论家直接改进视觉策略。
TACOS 提出一种基于腿式状态估计因子图残差的足步不稳定性评分,并将其投影到前序图像上,用于监督稠密视觉预测器。作者给出利用事后信息的硬评分和可即时获得的因果软评分两个变体,在 1716 个人工标注接触上与现有方法比较,两个变体的不稳定性检测与严重程度排序均优于所有对比方法,合并严重程度排序比最强基线提升 28%。
推荐理由:论文提出基于因子图残差的足步不稳定性监督信号,并在人工标注接触与户外实机测试中与现有方法比较。
ThinkWorld 是一个 VLA 学习框架,把动作推理建立在世界动力学上,并通过世界想象的强化学习加以强化。它将每个动作思考表示为 Chain-of-Dynamics(CoD),即一串离散运动 token,刻画从当前世界到未来状态的中间动力学,并作为跨本体的通用动作表示。
推荐理由:论文提出以世界动力学链作为跨本体动作表示,并用世界想象强化推理,为无动作标注视频提供监督路径。
研究提出一套在仿真中为LEAP手训练手内物体位姿到达策略的方案,无需人类数据,经系统辨识后零样本迁移到真实手,可用动捕或单个腕部深度相机。在4个物体、4800个未见目标、13.3小时实机评测中,基于状态的策略在2厘米和0.4弧度内到达95.2%的目标,叠加可调保守度的学习残差安全过滤器后掉落减少75%,仍到达91.5%的目标。策略还能旋转任意姿态的灯泡、到达分布外目标并承受快速手臂运动与扰动。
推荐理由:论文给出LEAP手在仿真中训练、零样本迁移实机的手内物体位姿到达方案,并量化了安全过滤对掉落率的取舍。
研究提出一种可微分的移动窄缝建模方法,按到随时间变化的缝隙平面的有符号距离对居中、对齐和平滑碰撞项进行门控,把稀疏的穿越事件转化为稠密的路径目标。该方法被整合进一个从随机初始化单阶段训练的视觉特征到指令策略,无需教师、规划器或蒸馏。
推荐理由:论文用可微仿真把穿越动态窄缝的稀疏事件转成稠密路径目标,并给出仿真与实机成功率对比。
研究提出自适应残差纠正模块 ARC,在冻结的模仿策略之上用强化学习学习残差纠正,并以稀疏人工纠正决定残差控制何时激活、在残差动作空间的何处探索。在真实机器人的三个精密操作任务上,ARC 将平均任务成功率从 33.3% 提升到 75.0%。作者称人工纠正定义了七关节残差空间中依赖任务的 2-3 维子空间,保留 96.0-97.7% 的纠正幅度平方。
推荐理由:论文把稀疏人工纠正用于定位残差探索的子空间,而非当作模仿目标,为冻结策略的后训练提供了一种可迁移思路。
StabBot 机器人管道对扣系统结合摆锤卡尔曼滤波、ResNet-18 关键点网络与残差强化学习策略,在 200 组随机作业中全部完成对扣,传统固定导向器为 74%。
推荐理由:论文给出管道对扣机器人在缩比仿真中的成功率与接触力对比,可用于了解学习策略与视觉定位在对接任务中的组合方式。
论文研究双臂工具使用中的机器人故障诊断,在仿真任务上按记录轨迹标注故障原因,测量各传感通道能让诊断器分辨出什么。工具滑脱可在工具手上读出,哪只手迟了需要双臂信息,单手传感器只能读出本手延迟和另一手至多部分延迟;当工具手迟到时,迟到的尝试是否同时推力不足无法从被动传感中辨识。
Ego-CEVR 提出一种数据原生的分层视觉表征学习框架,将全局表征与交互表征分配不同的学习目标。全局模块通过在第一视角视频上做未来预测,学习物体关系、任务状态和时间进度;交互模块结合全局上下文解读腕部观测,并借助机器人动作监督学习局部对齐与接触线索。两条残差路径把两种表征同时接入动作策略,全局视频模块可在大规模人类第一视角视频和多种机器人本体视频上独立预训练,无需机器人动作标签或配对的腕部观测。
研究结合果蝇全脑记录与神经力学数字孪生,测试内在动机算法能否复现果蝇探索行为。果蝇全脑记录可提前10秒以上表征自发探索决策;在虚拟拴系球实验中,DIAYN在好奇心、熵与胜任力等20种内在动机算法中取得与果蝇最接近的行为与神经前瞻编码表现。
研究在 FastWAM 和 OpenWAM 中做受控的未来视频预测损失消融,模型架构、初始化、机器人训练数据和训练步数在各模型族内保持固定。在已见任务的干净条件下,预测监督分别将成功率提升 24.38 和 72.91 个百分点;但在分布偏移下收益并不稳定,未见任务上的提升因模型和任务而异,两个模型在所受评估的环境随机化下成功率都较低。
推荐理由:在 FastWAM 与 OpenWAM 上做受控消融,区分未来视频预测在熟悉任务上的执行提升与分布偏移下的迁移表现。
Mingtian Tan 与 Vasileios Tzoumas 提出 Dual Gradient Consensus(DGC),一种面向四旋翼混合域内/域外扰动的自适应学习方法,在保留随机傅里叶特征模型、离线 BPTT 策略与最小二乘自适应的基础上修改在线更新步长。
Sooyoung Kwon 等提出 TRIAGE,一种无需训练的 VLA 推理加速方法,按 token 漂移阈值判断缓存是否有效,对固定预算的 token 重算、其余复用或剪枝。
Parada、Yu 与 Angeloudis 提出 IntNet,一个将车辆意图传输与自适应通信调度纳入统一端到端学习范式的多智能体强化学习框架,用于协同自动驾驶。
ARPG 提出将动作表征学习与动作生成分离,先在大规模人类操作数据上预训练动作表征编码器,再冻结编码器、用 130M 参数的生成骨干在表征空间中学习任务条件动作分布。
推荐理由:论文把动作表征预训练与动作生成拆开,为灵巧操作提供了一条独立于数据规模之外的扩展路径。
AuRA 是一套自动化机器人交互与数据准备系统,用于数字孪生重建,结合执行感知抓取选择、由机器人状态推导的夹爪运动测量以及配准的交互前几何与外观先验。在 13 个可变形物体上,AuRA 将每个成功重建资产的主动人工投入和实际采集时间分别减少 88.5% 和 55.4%。
推荐理由:论文给出自主采集机器人交互数据重建数字孪生的流程,并对比人工采集的耗时与重建指标。
ThinkLocoManip 提出一种面向腿式移动操作的全身体控制智能体框架,采用推理与行动交错的范式,让智能体持续推理当前状态、执行动作、观察结果并调整策略。
推荐理由:论文把移动操作拆成感知、导航、操作与运动四类工具,并给出实机长程任务成功率对比,可供参考其交错推理与工具编排思路。
RynnVLA-Latent提出用异构交互视频做机器人策略预训练,其RynnLAM模块无需原生机器人控制即可从视觉变化中学习连续、3D接地的潜在动作。研究在30.1K小时人类、机器人和仿真视频上生成745.52M个潜在动作描述符,再通过流匹配预测潜在动作块并适配到具体本体动作。
推荐理由:论文用30.1K小时异构视频学习3D接地的潜在动作,为VLA预训练绕开动作标注稀缺提供了一条可比较的路径。
AdaPolicy 提出一种动作驱动的前瞻策略框架,通过级联的下一动作块预测让在线策略获得隐式前瞻,训练时无需未来观测编码,推理阶段零额外开销。方法由在线动作头同时输出当前动作块与演化隐状态,再由级联展开动作头预测下一动作块,并将损失回传至该隐状态。
推荐理由:论文提出仅用动作信号做下一动作块预测来获得前瞻表征,训练无推理开销,并在仿真与实机任务上报告增益。