ARPG:通过动作表征预训练扩展灵巧操作能力
ARPG 提出将动作表征学习与动作生成分离,先在大规模人类操作数据上预训练动作表征编码器,再冻结编码器、用 130M 参数的生成骨干在表征空间中学习任务条件动作分布。
推荐理由:论文把动作表征预训练与动作生成拆开,为灵巧操作提供了一条独立于数据规模之外的扩展路径。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
ARPG 提出将动作表征学习与动作生成分离,先在大规模人类操作数据上预训练动作表征编码器,再冻结编码器、用 130M 参数的生成骨干在表征空间中学习任务条件动作分布。
推荐理由:论文把动作表征预训练与动作生成拆开,为灵巧操作提供了一条独立于数据规模之外的扩展路径。
AuRA 是一套自动化机器人交互与数据准备系统,用于数字孪生重建,结合执行感知抓取选择、由机器人状态推导的夹爪运动测量以及配准的交互前几何与外观先验。在 13 个可变形物体上,AuRA 将每个成功重建资产的主动人工投入和实际采集时间分别减少 88.5% 和 55.4%。
推荐理由:论文给出自主采集机器人交互数据重建数字孪生的流程,并对比人工采集的耗时与重建指标。
ThinkLocoManip 提出一种面向腿式移动操作的全身体控制智能体框架,采用推理与行动交错的范式,让智能体持续推理当前状态、执行动作、观察结果并调整策略。
推荐理由:论文把移动操作拆成感知、导航、操作与运动四类工具,并给出实机长程任务成功率对比,可供参考其交错推理与工具编排思路。
RynnVLA-Latent提出用异构交互视频做机器人策略预训练,其RynnLAM模块无需原生机器人控制即可从视觉变化中学习连续、3D接地的潜在动作。研究在30.1K小时人类、机器人和仿真视频上生成745.52M个潜在动作描述符,再通过流匹配预测潜在动作块并适配到具体本体动作。
推荐理由:论文用30.1K小时异构视频学习3D接地的潜在动作,为VLA预训练绕开动作标注稀缺提供了一条可比较的路径。
AdaPolicy 提出一种动作驱动的前瞻策略框架,通过级联的下一动作块预测让在线策略获得隐式前瞻,训练时无需未来观测编码,推理阶段零额外开销。方法由在线动作头同时输出当前动作块与演化隐状态,再由级联展开动作头预测下一动作块,并将损失回传至该隐状态。
推荐理由:论文提出仅用动作信号做下一动作块预测来获得前瞻表征,训练无推理开销,并在仿真与实机任务上报告增益。
HuGe 是一组人形通用视觉-语言-动作模型,在超过 2000 小时的第一视角人类与机器人数据上预训练。它沿用三种现有代表性 VLA 架构,预测预训练全身控制器的潜在运动 token 与手部控制信号,并采用第一视角预训练、人形适配和下游微调的三阶段流程。
推荐理由:论文给出用第一视角人类数据预训练人形VLA的三阶段流程,并说明视觉与本体感知差异的处理方式。
PS-DLO 提出一种属性与空间感知的可变形线性物体操作策略,通过对比图文学习把初始观测映射为物体属性的类别描述,并用 SAM3 从未来观测提取掩码引导特征、蒸馏进策略的动作专家。作者在单臂和双臂平台的九个真实任务上为每种本体训练共享多任务策略,平均成功率达 68.9%,比最强基线高 20.0 个百分点;在蝴蝶结解结的七种视觉偏移条件下,有六种成功率高于基线。
推荐理由:论文在单臂与双臂平台共九项真实任务上训练共享多任务策略,并给出与最强基线的成功率对比,可供比较可变形线性物体操作方案。
HumanoidNDM 是一个面向人形机器人运动跟踪的在线微调框架,用实机训练的神经动力学模型缩小训练与部署之间的动力学差距。数据采集阶段采用带自适应强度机制的低频参考扰动方法,模型训练阶段在欧氏空间训练基于历史本体感知的神经动力学模型并引入可微前向运动学,从而不依赖动捕系统。
推荐理由:论文提出用实机训练的神经动力学模型在线微调人形运动跟踪策略,并在宇树 G1 上验证,可了解训练到部署差距的一种处理思路。
RoboDuo 提出一种闭环双系统框架,以代码作为编码智能体与两个 VLA 之间的接口:编码智能体编写程序,让全任务 VLA 尝试完成整个任务并检查是否完成,失败时由原子 VLA 完成剩余步骤。
X-World提出一种把视频扩散模型先验迁移到机器人控制的框架,通过固定长度token序列接入共享动作专家,并用残差跨视角注意力支持一至三路相机输入。在LIBERO上平均成功率为98.5%,其LIBERO训练检查点在LIBERO-Plus上不做额外适配取得76.5%;六项双臂实机任务每项20次试验平均成功率81.7%。
推荐理由:论文给出跨视角视频先验迁移到机器人控制的完整训练流程,并列出LIBERO与双臂实机成功率及扰动下的强弱项。
DSGN 是面向多机器人同时监视与围堵(SSC)问题的双流门控网络架构,将监视与围堵拆分为专门的表示流,并通过上下文感知门控机制协调两者。作者称概率先验进一步正则化门控过程,减少模糊的中间决策,在恒定密度跨规模设置下保持任务效果与可扩展性;消融和分阶段评估显示动态门控与概率先验在纯监视和任务切换场景中支持模式切换。源代码已发布于 https://github.com/zuozysama/DSGN。
Yilong Chen 与 Yong K. Cho 提出一个仅用 LiDAR 的实时框架,从无标注演示中学习交互感知的路径修正,用于在工人附近作业的建筑机器人导航。
该论文研究动态环境下的群体机器人集体感知,提出将轻量变化检测机制集成到贝叶斯集体决策框架中,在检测到分布偏移时重置机器人信念。该检测器只需常数内存和常数单样本计算量,而两篇近期对比方法需存储完整样本流,因此更适合内存受限的机器人。
ElevateHead 提出一种在学到的决策点做一次选择、并在整个回合内保持该选择的动作头,用户可将该选择作为输入设定。在受控任务上,当演示包含多种做法且状态无提示时,采样一种做法的动作头成功率比平均做法高 0.72,但该趋势未在其他任务复现。
Linfei Yuan 与 Rachel Holladay 提出一个任务与运动规划(TAMP)框架,将任务导向的交互式信息获取与规划执行交错结合。该框架基于 PDDLStream 乐观地规划交互动作,在执行中验证结果,并保留仍适用的动作、只重规划继续执行所需的连接。
推荐理由:论文把交互式信息获取动作纳入TAMP规划,并在执行中验证结果、保留可用动作重规划,为长程操作的不确定性提供可迁移方法。
研究在双通信循环控制器的仿真肌肉骨骼系统中,用 2x2 设计比较差异化与共享控制器目标、固定与平衡手部任务分配对双臂控制的影响。差异化目标配合与对侧控制路由一致的固定分配时特化最强,双臂成功率达 81.33%,控制效率也最高;该优势随运动噪声增大而扩大,但在更强能量惩罚下收窄。
RoboLongR 是一个离线到在线的框架,通过学习依赖历史的奖励引导策略适应新任务,核心目标是让奖励进度与执行历史支持的前置条件保持因果一致。方法采用阶段打乱监督、循环记忆和两轮训练,并以稀疏终端反馈触发对重复高分失败的纠正。
推荐理由:论文提出以因果一致性约束长程操作奖励学习,并给出仿真与实机成功率对比,可用于比较长程任务奖励设计。
研究提出Scan2Instruction与PRPT-KS,用一次简短的iPhone扫描替代人工示范,完成语言引导导航策略在新场景的适配。Scan2Instruction把扫描结果编译成完整训练环境并自动合成带指令的可执行导航片段,PRPT-KS则直接从重建场景读取闭式Pareto效用更新策略,无需学习型critic和人工标注。
推荐理由:论文用一次手机扫描替代现场遥操作采集示范,为语言引导导航策略的场景适配提供了可比较的实机成功率数据。
POD-RoPE 将 token 的观测足迹表示为相机中心、视线方向和采样时间上的分布,用期望旋转编码分布间相对关系,分布退化为单点时即还原逐点 RoPE。该方法在 Fast-WAM 上把 RoboTwin 2.0 全部 50 个任务的平均成功率从 91.83% 提升到 92.88%,在 Sharpa North 的两个实机任务上从 32.5% 提升到 52.5%。
推荐理由:论文提出以物理观测分布编码位置的方法,并在仿真与实机操作任务上给出成功率对比和推理速度数据。
Mohamed A. Mabrok 提出 Open-World Law-to-Action(L2A),由视觉语言模型为每个可动部件提出运动方式、运动定律项和可能的锁定因素,再以带下限的先验形式交给触觉在线修正。
推荐理由:论文把视觉语言先验与触觉在线辨识结合,给出仿真中未见场景的任务完成率对比,可用于了解开放世界操作中的物理推断思路。
EXE 是一个第一视角跨本体预训练框架,从人类操作视频中学习因子化潜在动作表示,把共享操作先验与本体特有信号分开。作者称该共享动作空间让机器人策略从多样人类演示中获得可泛化的操作语义,同一预训练可同时用于平行夹爪和灵巧手。在 RoboTwin 2.0、RoboCasa GR1 和真实世界操作任务上,EXE 相比无预训练基线取得一致提升。
HA-DiPO 是一个面向异构腿式机器人协同搬运的分层多智能体强化学习框架,采用集中训练分散执行(CTDE),将团队级协调与本体特定运动控制解耦。高层用集中式评论家联合训练独立协调策略,并以扩散策略表示可能的多模态协调响应;低层由本体特定鲁棒运动策略跟踪协调指令,协调策略通过奖励驱动的仿真交互从零学习,无需示范。
论文提出 Patchwork,一个面向域随机化仿真的资源共享系统,基于 E=T+Δ 表示,用共享模板加补丁记录构建目标环境所需的变更。系统在 robosuite 和 MuJoCo 上实现,并在 LIBERO-plus 与 RoboCasa365 负载上评测;在 32 个副本时,共享模板执行相比每环境一进程将 CPU RSS 降低 88-92%。
MOON提出一种框架,为冻结的视觉语言导航策略加装两个轻量模块,参数量增加不到1%,用于在偏离路线时判断何时清空历史并学习如何恢复。作者称在R2R-CE和RxR-CE上,MOON取得对比方法中最高的R2R-CE成功率,并把冻结基线的成功率分别提升5.2和6.0个百分点;随机触发消融显示增益取决于清空历史的时机。
推荐理由:论文用冻结策略加两个轻量模块处理导航偏离后的历史清理时机,并给出R2R-CE与RxR-CE上的对比结果。
ReSight 是一个面向具身智能体的任务驱动自改进记忆系统,保留关键帧及其时空关联,并把观测证据与可扩展派生字段分离,以便按新需求重新处理历史观测。系统由执行智能体和编码智能体通过不同接口共享记忆,前者在有限在线预算内调用已注册工具,后者在可编程工作区中以更大探索预算检查证据、编写程序并按需获取模型。
推荐理由:论文提出面向具身智能体的任务驱动自改进记忆系统,并给出在三个公开基准上的量化对比,可供关注机器人长时记忆与工具调用的人参考。
一篇综述梳理了113项基于学习的灵巧操作方法,覆盖所用灵巧手、训练仿真器与结果报告方式。作者指出该领域已大体收敛到一套流程:在GPU仿真器中用特权状态做强化学习,再蒸馏为仅视觉的学生策略迁移到硬件,近半数工作采用这一路线且几乎集中在同一个仿真器。
论文提出一种可微底盘安全层,将任务导向控制与显式物理约束模块化结合,把执行器限制、单轮胎力约束和车辆操控包络纳入序列二次规划。每个投影指令会传播预测的车辆动力学并更新后续约束,通过隐式微分实现时间梯度耦合;作者采用专家模仿、风险引导监督与条件干预引导的两阶段学习策略协调标称控制与底盘安全约束。
MOTIO 是一个智能体化技能工程系统,可将人类动作视频、真实感3D资产、运动参考和可复用机器人技能转化为可执行的人形全身操作程序,无需任务专用遥操作或机器人演示采集。
推荐理由:论文给出从人类视频与3D资产构建人形全身操作技能的程序化流程,并报告实机执行与蒸馏结果,可供比较技能生成与策略蒸馏路线。
论文提出 Active Reachability Learning 框架,把给定回退策略的随机有限时域可恢复性包络作为学习目标,用于人形机器人运行时监控。该方法在价值学习与主动探索之间迭代,将数据探索重构为 reach-avoid 问题,由不确定性引导的探索器发现未见状态并避开确定不可恢复区域,同时结合时序差分与蒙特卡洛目标改善分布内价值预测和不确定性估计。
推荐理由:论文把可恢复性监控建模为随机有限时域包络学习,并用主动探索补足接触丰富系统的数据盲区,可供研究人形机器人运行时安全监控参考。
作者提出 Tiny Recursive Policy(TRP),一种参数高效的行为克隆策略,将持久时间状态与递归潜在精炼结合,每个控制步用共享计算模块反复更新高低层潜在状态后再解码动作序列,并把状态传递到后续预测。
推荐理由:论文提出参数高效的递归潜在精炼策略,在长时程与上下文依赖任务上对比大型生成式基线,可供策略设计参考。
研究提出一种由OCT引导、从用户示范学习并用闭环OCT反馈执行的软组织形状控制框架,比较全容积、组织掩膜稀疏容积和体素化点云三种表征,以及确定性Explicit策略与生成式Diffusion策略。
推荐理由:论文比较三种OCT三维表征与两类策略在软组织形状控制中的表现,并给出体模与离体组织的误差数据。
Backtrack 是一种面向冻结 VLA 的轻量失败检测与恢复机制,无需恢复演示、策略重训或推理时额外模型。它用仅基于冻结策略带结果标签 rollout 训练的小型失败预测头读取 VLA 内部表示,预测失败概率超过阈值时暂停策略、回退机械臂近期运动并交回原策略重试,该头仅增加策略参数量的 0.48-0.88%。
HoloBoxing 提出一种基于预训练全身控制器的人形机器人拳击学习配方,将可复用运动技能与任务决策分离。紧凑规划器输出未来身体点目标,冻结的控制器负责关节级执行,学习到的解码器把 32 维动作映射为结构化目标窗口,并用实测状态模仿初始化规划器,再以强化学习优化交互行为。
研究探讨联邦学习与VLA策略适配的交汇点:跨任务、环境、人员和机器人本体共享源自人类纠正的适配更新。作者指出,提升平均任务成功率的共享更新可能压制罕见安全干预,或在另一台机器人上产生不安全响应,并提出三项要求:保留多模态纠正的上下文与不确定性、在接收机器人闭环中评估候选更新、同时评估安全关键证据的泄漏与保留。文章给出反例与可证伪的评估议程,不含实验结果。
作者提出动作感知量化方法,用视觉语言模型把长程轨迹拆成物体级子任务并分配加权动作信用,并据此构建 800 小时以上训练视频数据集和含 19,618 个人工校准评估帧的长程进度基准 LOOM。
推荐理由:论文提出动作感知量化与 NimCritic 进度评论器,并公开 800 小时视频数据集与 LOOM 基准,可供长程操作进度建模参考。
研究评估条件神经过程能否自主学出可反映动作潜在目标的动作表征。在隐空间加入注意力机制后,模型能在动作序列观察早期形成稳健的目标表征,被视为面向机器人自监督通用学习器的候选模型。
首尔大学团队提出从大规模演示数据学习速度先验,为机器人演示重定时。给定任务指令、运动路径及沿途图像,该先验预测路径上的执行速度分布,取选定分位数作为统一时钟;单个训练好的先验可覆盖语料库中所有任务,无需为每个新任务重新拟合或标注。
推荐理由:论文提出从大规模演示数据学习速度先验,为每条演示统一重定时,并给出仿真与实机对比结果。
Yonghyeon Lee 汇编编辑的讲义《Optimization, Optimal Control, and Reinforcement Learning for Robotics》发布,梳理优化、最优控制与强化学习在机器人学中的数学联系与实际相关性,内容为已有材料的整理而非新研究成果。
R²E 是一个角色驱动的奖励进化框架,用多个 LLM 角色自动设计强化学习奖励函数。其中 Explorer 负责提升新颖性以扩大搜索空间,Guardian 做保守修正以改善训练稳定性,Evolver 通过交叉和变异重组高性能奖励,动态调度策略让搜索从广泛探索逐步转向集中利用。
LogLook提出一种执行日志式记忆,让前沿视觉语言模型规划器保留执行记录与先前笔记,并自行决定查看哪些帧。在基准自带运动规划器下,它的成功率与仅用笔记的记忆相当,但token减少43%、图像用量不到一半,因记忆或观察失误导致的失败回合也明显更少;直接控制时在RoboMME测试集上解决93.5%。
推荐理由:论文提出面向前沿模型机器人规划器的执行日志式记忆,在RoboMME上以更少token和图像达到相近成功率,可供比较记忆设计。