跳到正文

NEWS / 动态

#人形机器人

按时间浏览,使用右上角筛选切换领域。

10月30日周五
  1. arXiv · cs.RO72

    HumiMimic:从野外视频迁移人-人形机器人交互动作

    作者提出 HumiTransfer 框架,将野外人人交互视频转换为物理合理的人-人形机器人交互动作,并据此构建 HumiMimic 数据集。该数据集覆盖 26 自由度 Unitree R1 Edu 与 23 自由度 HighTorque Mini-hi 两款机器人,由 1200 段视频生成约 50 万帧交互数据。

    推荐理由:论文提出从野外人人交互视频迁移到人形机器人的框架,并构建约50万帧数据集,可用于比较跨本体动作迁移方法。

  2. arXiv · cs.RO67

    MOVER:从人类视频学习可泛化人形机器人搬运策略

    研究提出 MOVER,一个多阶段 Teacher-Assistant-Student 强化学习框架,用于人形机器人物体搬运。该方法先用 GENMO 和 GMR 重定向视频数据并做数据增强,再分三阶段训练,最后用 Dagger-PPO 蒸馏去掉本体位置观测和参考关节位置,使部署策略依靠机载 RGB-D 相机感知物体位姿。

    推荐理由:论文给出从视频数据到实机部署的三阶段强化学习框架,可用于比较人形机器人搬运策略的空间泛化路径。

  3. arXiv · cs.RO72

    EgoHTR发布第一视角人体地形穿越4D演示数据集

    EgoHTR数据集发布,用第一视角可穿戴设备与便携3D扫描仪采集了55段场景对齐的4D人体运动序列,覆盖多样复杂环境,共超过15万帧。作者称该数据在运动捕捉真值对比中达到当前先进精度,并据此训练感知式运动策略,在Unitree G1上完成重建参考动作的硬件部署。重建流程已开源,支持社区扩展数据集。

    推荐理由:该数据集用第一视角可穿戴设备与便携3D扫描仪采集55段场景对齐的4D人体运动序列,并给出实机部署结果,可供人形机器人在非结构化地形上的学习研究参考。

  4. arXiv · cs.RO58

    研究对比人形机械臂重定向中手腕目标构造与关节角限位的关系

    一项预印本研究在宇树 H1-2 上考察期望手腕位置的构造方式如何影响计算出的机械臂关节角是否触及限位。重建目标由演示的手臂方向和机器人连杆长度构成,其肩到腕距离取决于演示的段间夹角;可达归一化目标保留方向并重新缩放距离,两者使用同一批处理后的演示和同一关节角方法。

10月29日周四
  1. arXiv · cs.RO72

    Humanoid Dodgeball:用强化学习训练人形机器人快速躲避动态障碍

    Humanoid Dodgeball 提出一个面向人形机器人敏捷动态避障的强化学习框架,通过威胁感知奖励塑形和多个方向特定的对抗运动先验,让机器人对飞来的抛射物做出全身躲避动作。作者称仿真与硬件实验显示,该框架在不同障碍速度和发射距离下提升了动态避障表现,同时保持稳定且物理可行的人形运动。

    推荐理由:论文给出人形机器人躲避高速抛射物的强化学习框架,可用于比较动态避障中的奖励设计与运动先验。

  2. arXiv · cs.RO60

    SONIC-K1:在单张 GPU 上为 Booster K1 小型人形机器人移植全身运动跟踪器

    SONIC-K1 是作者称为首个面向 Booster K1 人形机器人的开放权重全身运动跟踪器,通过将 SONIC 框架适配到这一更小的机器人得到。策略在单张共享 GPU 上从零训练,算力只占 SONIC 报告算力的一小部分;在 MuJoCo 仿真中按 SONIC 的成功判据跟踪了几乎所有留出动作片段,并在外部基准上表现良好。

    推荐理由:论文给出在单张共享 GPU 上从零训练小型人形全身运动跟踪策略的流程,并区分仿真与实机表现。

10月28日周三
  1. arXiv · cs.RO74

    Metatron:面向人形机器人的可提示全身执行层

    论文提出 Metatron,一种可提示的全身执行层,由生成式基础策略与可编程技能层组成。基础策略接收由定时身体部位目标、速度指令和风格线索组合成的提示,训练数据包括动捕、合成恢复轨迹和重定向场景交互动作,训练后策略被冻结。

    推荐理由:论文给出冻结策略加可编程技能层的人形全身执行方案,并在 Unitree G1 实机上演示多类任务。

  2. arXiv · cs.RO72

    FORGE:面向敏捷人形运动的在线降阶参考生成与全身执行框架

    论文提出 FORGE 两阶段学习框架,将在线降阶模型(ROM)参考生成与全身跟踪控制结合,用于人形机器人敏捷运动。第一阶段用单刚体动力学结合完整人形运动学训练命令条件化的全身参考生成器,第二阶段在线滚动冻结的 ROM 策略,为全阶动力学模型上的全身跟踪策略生成参考。

    推荐理由:论文给出两阶段降阶模型参考生成与全身跟踪框架,并在宇树 G1 上报告速度与跳跃指标,可供人形运动控制研究比较。

10月25日周日
  1. arXiv · cs.RO72

    HuGe:用第一视角人类经验扩展人形通用VLA模型

    HuGe 是一组人形通用视觉-语言-动作模型,在超过 2000 小时的第一视角人类与机器人数据上预训练。它沿用三种现有代表性 VLA 架构,预测预训练全身控制器的潜在运动 token 与手部控制信号,并采用第一视角预训练、人形适配和下游微调的三阶段流程。

    推荐理由:论文给出用第一视角人类数据预训练人形VLA的三阶段流程,并说明视觉与本体感知差异的处理方式。

  2. arXiv · cs.RO72

    HumanoidNDM:用神经动力学模型在线微调人形运动跟踪策略

    HumanoidNDM 是一个面向人形机器人运动跟踪的在线微调框架,用实机训练的神经动力学模型缩小训练与部署之间的动力学差距。数据采集阶段采用带自适应强度机制的低频参考扰动方法,模型训练阶段在欧氏空间训练基于历史本体感知的神经动力学模型并引入可微前向运动学,从而不依赖动捕系统。

    推荐理由:论文提出用实机训练的神经动力学模型在线微调人形运动跟踪策略,并在宇树 G1 上验证,可了解训练到部署差距的一种处理思路。

10月24日周六
  1. arXiv · cs.RO78

    MimicAll:面向跨人形本体全身运动跟踪的结构化本体条件框架

    MimicAll 是一个强化学习框架,用于在异构人形机器人之间共享全身运动跟踪策略,将结构化本体描述符编码为全局与关节对齐条件,并结合观测历史与匹配本体的运动参考预测关节目标偏移。

    推荐理由:论文给出跨人形本体的结构化条件编码与464个本体的评测基准,可用于比较共享策略与单本体专家的差异。

  2. arXiv · cs.RO71

    MOTIO:面向真实场景人形全身操作技能的智能体化技能工程系统

    MOTIO 是一个智能体化技能工程系统,可将人类动作视频、真实感3D资产、运动参考和可复用机器人技能转化为可执行的人形全身操作程序,无需任务专用遥操作或机器人演示采集。

    推荐理由:论文给出从人类视频与3D资产构建人形全身操作技能的程序化流程,并报告实机执行与蒸馏结果,可供比较技能生成与策略蒸馏路线。

  3. arXiv · cs.RO72

    Active Reachability Learning:面向人形机器人可恢复性监控的主动可达性学习

    论文提出 Active Reachability Learning 框架,把给定回退策略的随机有限时域可恢复性包络作为学习目标,用于人形机器人运行时监控。该方法在价值学习与主动探索之间迭代,将数据探索重构为 reach-avoid 问题,由不确定性引导的探索器发现未见状态并避开确定不可恢复区域,同时结合时序差分与蒙特卡洛目标改善分布内价值预测和不确定性估计。

    推荐理由:论文把可恢复性监控建模为随机有限时域包络学习,并用主动探索补足接触丰富系统的数据盲区,可供研究人形机器人运行时安全监控参考。

  4. arXiv · cs.RO58

    RobustRLlib发布:统一17种鲁棒强化学习算法与评测基准

    RobustRLlib 是一个以算法为中心的鲁棒强化学习库与基准,将17种代表性在线、离线与安全强化学习算法整合到统一接口,以提升算法复用性。该工作还提供覆盖多种真实世界偏移以及人形机器人和视觉-语言-动作任务的评测平台,并在273种扰动配置上系统评估,给出当前鲁棒强化学习算法的能力图谱,指出仍存在明显鲁棒性差距的场景。作者称其开源且可复现、可扩展。

  5. arXiv · cs.RO72

    ViT-H:用运动跟踪反馈实现生成式视频到人形机器人控制

    ViT-H 提出一种生成加跟踪的视频到人形机器人控制框架,用扩散模型直接从视频生成人形参考动作,绕过人体动作重建与重定向,并用运动跟踪结果以直接偏好优化后训练生成器。

    推荐理由:论文提出绕过人体动作重建与重定向的视频到人形控制框架,并用下游跟踪反馈后训练生成器,可供比较现有流水线。

  6. arXiv · cs.RO58

    HoloBoxing 提出人形机器人拳击训练配方,单 GPU 约七分钟完成任务学习

    HoloBoxing 提出一种基于预训练全身控制器的人形机器人拳击学习配方,将可复用运动技能与任务决策分离。紧凑规划器输出未来身体点目标,冻结的控制器负责关节级执行,学习到的解码器把 32 维动作映射为结构化目标窗口,并用实测状态模仿初始化规划器,再以强化学习优化交互行为。

10月23日周五
  1. arXiv · cs.RO67

    延迟随机化扩大学习型人形运动跟踪器的延迟裕度

    研究在24关节人形机器人上训练运动跟踪策略,并在独立CPU MuJoCo测试环境中评估指令延迟的影响。训练随机化下每个策略在30次试验中至少26次完成动作,但加入40毫秒恒定延迟后平均存活率降至15%(0%–45%),延迟裕度仅20–30毫秒。

    推荐理由:论文用独立仿真测试量化了训练时随机化指令延迟对人形机器人运动跟踪策略延迟裕度的影响,并给出延迟范围应按实测延迟设定的建议。

  2. arXiv · cs.RO58

    研究揭示人形机器人安全滤波器可被目标插入攻击利用

    一项预印本研究指出,人形机器人安全滤波器的碰撞保证只在参数配置正确时成立,而参数配置依赖具体任务与环境,目前没有通用方法确定。作者提出目标插入攻击,并开发自动化工具 SIREN 为给定任务和环境寻找可插入的脆弱目标;在 SPARK 数据集的所有脆弱场景中,SIREN 均能识别攻击,数量是基线方法的三倍,并在真实人形机器人执行任务时触发碰撞。

  3. arXiv · cs.RO58

    Move, don't think:低分辨率近距传感器提升人形机器人避碰学习样本效率

    论文研究以全身近距传感器作为归纳偏置,学习反射式避碰行为,并在强化学习环境中比较八种候选表征,包括隐空间压缩、未来接触预判、有损退化和特权状态估计。作者在刻意受限的样本与算力预算下端到端训练超过200台人形机器人玩简化版躲避球,发现低分辨率有损传感器比高分辨率全覆盖是更强的偏置,而预判接触发生的时间与部位反而降低了学习样本效率。该工作为预印本,结论基于仿真训练环境。

  4. arXiv · cs.RO72

    基于注意力接触规划的人形机器人移动学习框架

    研究提出一种人形机器人移动学习框架,将运动数据仅作为训练先验,用自监督注意力接触规划器预测未来身体与环境接触,再由接触条件跟踪器生成全身协调动作。该框架让单一策略在部署时仅依赖机载观测、无需参考输入,并通过后续微调探索原始运动数据未覆盖的环境变化。作者称这一设计使策略内化接触感知的运动结构,而非直接复刻运动学轨迹。

    推荐理由:论文把接触规划作为观测与动作之间的接口,为参考动作数据与强化学习探索的结合提供了一种可迁移的训练框架。

10月22日周四
  1. arXiv · cs.RO75

    WholeBodyMem:为人形机器人全身移动操作保留动作前物体记忆

    论文提出WholeBodyMem,一种物体引导的感知记忆,用于解决全身VLA策略在动态场景中只能看到当前帧、物体线索易消失的问题。该方法用SAM3跟踪任务物体,由物体事件在自适应预算内因果选取关键帧,动作专家通过交叉注意力读取这些帧及编码外观、几何和时间的物体token。

    推荐理由:论文提出面向人形机器人全身VLA的物体引导感知记忆,并给出仿真与实机基准,可用于比较记忆机制对长时序操作的作用。

  2. arXiv · cs.RO80

    LocoManiLab:面向人形机器人移动操作的数据、策略、控制器与部署统一测试台

    LocoManiLab 提出一个覆盖数据采集与生成、策略训练、评估和物理部署的人形机器人移动操作统一测试台。其任务套件包含五类家庭场景下的 234 个原子与组合任务,配有 51.5 小时仿真遥操作数据;评估覆盖十二个策略在共享控制器下的任务与场景划分及扰动水平、两个策略在五种控制器下的表现,以及示范规模和数据来源混合的研究。

    推荐理由:该预印本把数据采集、策略训练、评估与实机部署整合为统一测试台,可用于比较不同策略与控制器在扰动下的泛化差异。

  3. arXiv · cs.RO66

    STAMP:借助人类运动先验实现机器人动作衔接

    论文提出 STAMP 框架,通过 Robot-to-Human-to-Robot 流程把独立采集的人形机器人动作连接成连续序列。其核心是学习到的对齐模型,在动作重定向到人体骨架后为后续动作排序候选位置、朝向和过渡时长,再由人类运动先验在选定对齐下生成过渡。作者在 Unitree G1 和 ROBOTIS K1 上评估生成过渡的跟踪成功率,并用实机演示展示 STAMP 将独立动作连成长时程序列。

    推荐理由:论文提出用人类运动先验衔接独立采集的人形动作,并在 Unitree G1 与 ROBOTIS K1 上评估跟踪成功率。

  4. arXiv · cs.RO62

    STR:面向人形机器人移动操作的时空偏好运动重定向

    论文提出时空重定向方法 STR,用视觉语言模型选择相关运动信号与身体部位,并据此识别关键帧,把更多求解器迭代分配给关键帧、给选定部位更高交互权重。作者还提出 Mechanics-Aware Contact Anchoring(MCA)借助近似物体力旋量模型细化物体表面接触位置,并基于所得参考轨迹构建时空强化学习 STRL,结合自适应关键阶段采样与基于目标接近度的接触位置奖励。

    推荐理由:论文用视觉语言模型挑选关键帧与关键身体部位来分配重定向优化预算,并给出仿真与实机验证,可供人形机器人全身控制参考。

  5. arXiv · cs.RO58

    MPBRS:面向人形机器人运动的统一奖励配置多势能奖励塑形

    论文研究面向人形机器人运动的 Multi-PBRS(多势能奖励塑形),并提出一套统一奖励配置。作者在九台人形机器人上使用相同的奖励结构和权重进行评测,只需机器人特定的关节/连杆映射与默认姿态等元数据,无需逐台重新设计奖励。实验称,与标准奖励塑形相比,MPBRS 在不同机器人间表现出更一致的缩放行为和更低的调参敏感度,且不改变最优策略。

  6. arXiv · cs.RO71

    RISE:面向感知型人形机器人跌倒恢复的测试时运动引导方法

    Osher Azulay 等人提出 RISE,一种让任务目标在推理阶段引导人形机器人起身方式的方法。该方法先学习连接预期动作与电机动作的恢复动作词表,再由视觉扩散规划器预测未来身体状态,并用任务代价把预测导向指定朝向、起身速度或路径,无需重新训练即可在测试时改变动作。仿真实验展示了多样化恢复、地形适应和测试时引导,并在宇树 G1 上给出实机演示。

    推荐理由:论文提出在推理阶段用任务代价引导人形机器人跌倒后起身的动作选择,并给出仿真实验与宇树 G1 实机演示。

  7. arXiv · cs.RO67

    SP-HLM:以稀疏姿态驱动的人形机器人移动操作运动生成与全身控制框架

    作者提出 SP-HLM,一个基于稀疏姿态接口的人形机器人移动操作框架,用五个任务关键身体姿态结合学习到的隐式运动先验,分别表达空间意图与全身协调。其中 SP-VLA 从多模态观测和语言指令预测稀疏姿态与手指关节位置,SP-MGM 经两阶段蒸馏实时重建全身运动,SP-GMT 再结合显式稀疏目标与隐式运动先验做全身控制。

    推荐理由:论文提出以稀疏姿态作为高层策略与全身控制的接口,并给出仿真与实机验证,可供研究人形移动操作接口设计时参考。

10月21日周三
  1. arXiv · cs.RO71

    HuMiT:基于紧凑参考跟踪的低延迟人形机器人全身遥操作

    HuMiT 提出一种人形机器人全身遥操作方案,其统一跟踪策略只需当前帧的根高度、根速度与四个稀疏关键点的 SE(3) 位姿作为紧凑参考,无需完整关节位置、密集身体变换或未来帧。作者报告头显流式传输到策略输出的通信至推理时延约 20 ms,基于视频的光流时延中位数为 65 ms。系统在 Unitree G1 人形机器人上验证,展示了接住抛来球体等快速反应和协调的移动操作能力。

    推荐理由:论文给出仅需稀疏关键点参考的全身遥操作策略,并报告头显到策略输出的时延数据,可供比较遥操作管线设计。

  2. arXiv · cs.RO75

    Watch Your Step:用落脚点预测裁剪感知输入的人形机器人运动策略

    arXiv 论文 Watch Your Step 提出预期感知方法,用轻量落脚点预测模型(FPM)仅凭本体感知和速度指令预测未来落脚点,再只在这些落脚点周围采样高程图小块,替代完整机器人中心高程图输入。

    推荐理由:论文提出用落脚点预测裁剪高程图输入,训练迭代约为完整地图的三分之一,并零样本迁移到 Unitree G1 实机。

  3. arXiv · cs.RO67

    SMR:从人类语义学习人形机器人流式运动重定向

    SMR 提出一种流式神经运动重定向器,从语义条件物理专家学习,将人类运动转为人形机器人可执行的运动参考。方法先把人类运动转换为机器人感知的任务空间目标,由物理专家在仿真中于接触、动力学和执行器约束下跟踪,再用严格因果的 Transformer 学习其执行状态轨迹。

    推荐理由:论文提出从语义条件物理专家学习流式重定向,对比运动学与物理精修基线,可供人形机器人运动参考生成研究比较。

  4. arXiv · cs.RO58

    PHD-Hand:可3D打印的连杆驱动人形灵巧手

    PHD-Hand 提出一种连杆驱动的人形灵巧手,每根手指至少具备3个驱动自由度(DOA),借助柔性铰链和弹簧钢弹性驱动杆简化传动,无需大量微型运动部件,可用预算级3D打印机加工。作者称该设计降低了灵巧人形手的使用与开发门槛,并让手部尺寸更接近常人手掌。论文还给出样机在抓取与物体操作上的评估,以及运动学与控制方面的最新发现。

  5. arXiv · cs.RO49

    One Policy, Many Styles:可操控人形控制中偏好聚合应放在哪一层?

    研究对比奖励层、优势层、损失层与PCGrad聚合在两种人形控制框架中的表现,用偏好奖励响应性(PRR)结合覆盖度与效用指标评估。没有哪种聚合层级在所有环境和标准下都最优:早期聚合行为响应范围更广,但其他目标的非预期变化更大;后期聚合提升控制精度,但响应性有所下降。

  6. arXiv · cs.RO31

    Warping the Workspace:可调可达映射扩展人形机器人遥操作视觉访问

    研究提出耦合视觉-运动重映射方法,将全景方位扭曲与上肢偏航逆变换配对,用于第一人称人形机器人遥操作,并实现Global Zoom(GZ)与Focus+Context(F+C)原型。在N=8的被试内研究中完成72次试验,GZ完成数最高(23/24;Fixed为20/24,F+C为21/24),但6/8参与者更偏好F+C,该样本中完成率与偏好指向不同映射。

  7. arXiv · cs.RO71

    REACT:用VLM引导接触重定向学习人形机器人交互策略

    REACT 是一个从人人演示中学习可部署人形机器人交互策略的框架,把语义接触结构作为连接演示处理、交互学习与机载控制的监督信号。其中 VLM 引导的接触建模与重定向流程识别人人交互中的语义接触并迁移到人形机器人几何上,特权交互策略借助接触奖励学习行为后,被蒸馏为仅用机载传感的自我中心深度策略,并引入生成式伙伴状态建模以应对遮挡。

    推荐理由:论文给出从人到人形机器人接触迁移并蒸馏为机载深度策略的完整流程,附仿真与Unitree G1实机结果。

  8. arXiv · cs.RO88

    SuperMimic:用单一可微世界模型扩展人形机器人全身控制

    SuperMimic 提出用单一可微世界模型摊销人形机器人全身运动跟踪的学习,世界模型与跟踪策略在同一循环中联合训练,并通过短时想象 rollout 的反向传播为策略提供解析梯度。

    推荐理由:论文用单一可微世界模型摊销多动作学习,给出与基线在GPU耗时和失败动作数上的对比,并报告在Unitree G1上的迁移。

  9. arXiv · cs.RO75

    FRDV:面向可扩展人形机器人学习的快速运动重定向流程

    作者提出 FRDV(Fast Retargeting with Dynamics Validation),一个由快速约束运动学重定向和动力学校验两阶段组成的人形机器人运动重定向框架。

    推荐理由:论文给出快速运动重定向与动力学校验两阶段流程,并对比 GMR、ProtoMotions 的跟踪成功率,可供人形机器人学习数据管线参考。

10月20日周二
  1. arXiv · cs.RO67

    EmbodyHOI:面向人形灵巧操作的具身感知手物交互生成

    EmbodyHOI 在冻结的流匹配手物交互轨迹生成器采样循环中嵌入针对特定人形本体的可微逆运动学求解器,把本体可达性约束加入生成过程。在 ARCTIC 轨迹上,该方法把 Unitree G1 与 H1-2 的重定向腕部误差从 8.9 cm 降到 0.6 cm,同时保持文本到手物交互的生成质量。

    推荐理由:论文把机器人可达性约束放进 HOI 轨迹生成采样过程,并给出 G1 与 H1-2 的实机前仿真对比数据。

  2. arXiv · cs.RO38

    面向自闭症谱系障碍教育的人形机器人视觉任务建模与自动规划

    研究提出一种让配备摄像头的半自主机器人识别Shoebox Tasks任务目标并规划动作的方法,该系统用基于视觉的大语言模型将任务照片转换为PDDL表示并生成动作计划。Nao机器人可自主执行多种Shoebox Tasks,并通过动作演示、语音指令或手势提示下一步或报告检测到的失败。求解器仅以拍摄图像为输入,经适配的机器人接口可集成到多种教育机器人中,教师无需编程。