HumiMimic：从野外视频迁移人-人形机器人交互动作
作者提出 HumiTransfer 框架，将野外人人交互视频转换为物理合理的人-人形机器人交互动作，并据此构建 HumiMimic 数据集。该数据集覆盖 26 自由度 Unitree R1 Edu 与 23 自由度 HighTorque Mini-hi 两款机器人，由 1200 段视频生成约 50 万帧交互数据。
推荐理由：论文提出从野外人人交互视频迁移到人形机器人的框架，并构建约50万帧数据集，可用于比较跨本体动作迁移方法。
公司与机构
宇树科技 最新动态
追踪该机构的具身智能研究、产品与产业进展
21 条精选近 30 天 21 条共收录 32 条
更新
宇树科技的精选
arXiv · cs.RO精选AI 评分7272 arXiv · cs.RO精选AI 评分7272 EgoHTR发布第一视角人体地形穿越4D演示数据集
EgoHTR数据集发布，用第一视角可穿戴设备与便携3D扫描仪采集了55段场景对齐的4D人体运动序列，覆盖多样复杂环境，共超过15万帧。作者称该数据在运动捕捉真值对比中达到当前先进精度，并据此训练感知式运动策略，在Unitree G1上完成重建参考动作的硬件部署。重建流程已开源，支持社区扩展数据集。
推荐理由：该数据集用第一视角可穿戴设备与便携3D扫描仪采集55段场景对齐的4D人体运动序列，并给出实机部署结果，可供人形机器人在非结构化地形上的学习研究参考。
arXiv · cs.RO精选AI 评分7575 Catch It All!：灵巧手实现可泛化的动态抓取
Catch It All! 提出面向人形机器人的 sim-to-real 抓取框架，仅用一台自我视角相机即可完成上手与下手抓取，并泛化到未见物体。作者称策略可适应几何形状、可变形性、弹性等物理属性不同的新物体，并通过抓取奖励设计与安全感知课程支持接近硬件极限的高频动作执行，包括低至 5 Nm 的腕部力矩限制。
推荐理由：论文给出仅用单目自我视角相机、零样本部署于宇树 G1 的抓取框架，可用于比较动态抓取的泛化设定。
arXiv · cs.RO精选AI 评分6464 导航系统该记住什么？面向零样本视觉语言导航的时空记忆研究
一项 arXiv 预印本研究提出面向零样本视觉语言导航的时空记忆系统，由 8B observer 总结观测、8B reasoner 依据任务、时序与空间三类记忆选择路点意图或请求新视角，再由几何控制器执行。
推荐理由：论文拆解零样本视觉语言导航中任务进度、观测历史与几何记忆各自的作用，并给出记忆消融与实机对比结果。
arXiv · cs.RO精选AI 评分7474 Metatron：面向人形机器人的可提示全身执行层
论文提出 Metatron，一种可提示的全身执行层，由生成式基础策略与可编程技能层组成。基础策略接收由定时身体部位目标、速度指令和风格线索组合成的提示，训练数据包括动捕、合成恢复轨迹和重定向场景交互动作，训练后策略被冻结。
推荐理由：论文给出冻结策略加可编程技能层的人形全身执行方案，并在 Unitree G1 实机上演示多类任务。
arXiv · cs.RO精选AI 评分7272 FORGE：面向敏捷人形运动的在线降阶参考生成与全身执行框架
论文提出 FORGE 两阶段学习框架，将在线降阶模型（ROM）参考生成与全身跟踪控制结合，用于人形机器人敏捷运动。第一阶段用单刚体动力学结合完整人形运动学训练命令条件化的全身参考生成器，第二阶段在线滚动冻结的 ROM 策略，为全阶动力学模型上的全身跟踪策略生成参考。
推荐理由：论文给出两阶段降阶模型参考生成与全身跟踪框架，并在宇树 G1 上报告速度与跳跃指标，可供人形运动控制研究比较。
arXiv · cs.RO精选AI 评分7272 HumanoidNDM：用神经动力学模型在线微调人形运动跟踪策略
HumanoidNDM 是一个面向人形机器人运动跟踪的在线微调框架，用实机训练的神经动力学模型缩小训练与部署之间的动力学差距。数据采集阶段采用带自适应强度机制的低频参考扰动方法，模型训练阶段在欧氏空间训练基于历史本体感知的神经动力学模型并引入可微前向运动学，从而不依赖动捕系统。
推荐理由：论文提出用实机训练的神经动力学模型在线微调人形运动跟踪策略，并在宇树 G1 上验证，可了解训练到部署差距的一种处理思路。
arXiv · cs.RO精选AI 评分7272 Active Reachability Learning：面向人形机器人可恢复性监控的主动可达性学习
论文提出 Active Reachability Learning 框架，把给定回退策略的随机有限时域可恢复性包络作为学习目标，用于人形机器人运行时监控。该方法在价值学习与主动探索之间迭代，将数据探索重构为 reach-avoid 问题，由不确定性引导的探索器发现未见状态并避开确定不可恢复区域，同时结合时序差分与蒙特卡洛目标改善分布内价值预测和不确定性估计。
推荐理由：论文把可恢复性监控建模为随机有限时域包络学习，并用主动探索补足接触丰富系统的数据盲区，可供研究人形机器人运行时安全监控参考。
arXiv · cs.RO精选AI 评分7272 ViT-H：用运动跟踪反馈实现生成式视频到人形机器人控制
ViT-H 提出一种生成加跟踪的视频到人形机器人控制框架，用扩散模型直接从视频生成人形参考动作，绕过人体动作重建与重定向，并用运动跟踪结果以直接偏好优化后训练生成器。
推荐理由：论文提出绕过人体动作重建与重定向的视频到人形控制框架，并用下游跟踪反馈后训练生成器，可供比较现有流水线。
arXiv · cs.RO精选AI 评分6666 STAMP：借助人类运动先验实现机器人动作衔接
论文提出 STAMP 框架，通过 Robot-to-Human-to-Robot 流程把独立采集的人形机器人动作连接成连续序列。其核心是学习到的对齐模型，在动作重定向到人体骨架后为后续动作排序候选位置、朝向和过渡时长，再由人类运动先验在选定对齐下生成过渡。作者在 Unitree G1 和 ROBOTIS K1 上评估生成过渡的跟踪成功率，并用实机演示展示 STAMP 将独立动作连成长时程序列。
推荐理由：论文提出用人类运动先验衔接独立采集的人形动作，并在 Unitree G1 与 ROBOTIS K1 上评估跟踪成功率。
arXiv · cs.RO精选AI 评分6262 STR：面向人形机器人移动操作的时空偏好运动重定向
论文提出时空重定向方法 STR，用视觉语言模型选择相关运动信号与身体部位，并据此识别关键帧，把更多求解器迭代分配给关键帧、给选定部位更高交互权重。作者还提出 Mechanics-Aware Contact Anchoring（MCA）借助近似物体力旋量模型细化物体表面接触位置，并基于所得参考轨迹构建时空强化学习 STRL，结合自适应关键阶段采样与基于目标接近度的接触位置奖励。
推荐理由：论文用视觉语言模型挑选关键帧与关键身体部位来分配重定向优化预算，并给出仿真与实机验证，可供人形机器人全身控制参考。
arXiv · cs.RO精选AI 评分7171 RISE：面向感知型人形机器人跌倒恢复的测试时运动引导方法
Osher Azulay 等人提出 RISE，一种让任务目标在推理阶段引导人形机器人起身方式的方法。该方法先学习连接预期动作与电机动作的恢复动作词表，再由视觉扩散规划器预测未来身体状态，并用任务代价把预测导向指定朝向、起身速度或路径，无需重新训练即可在测试时改变动作。仿真实验展示了多样化恢复、地形适应和测试时引导，并在宇树 G1 上给出实机演示。
推荐理由：论文提出在推理阶段用任务代价引导人形机器人跌倒后起身的动作选择，并给出仿真实验与宇树 G1 实机演示。
arXiv · cs.RO精选AI 评分7171 HuMiT：基于紧凑参考跟踪的低延迟人形机器人全身遥操作
HuMiT 提出一种人形机器人全身遥操作方案，其统一跟踪策略只需当前帧的根高度、根速度与四个稀疏关键点的 SE(3) 位姿作为紧凑参考，无需完整关节位置、密集身体变换或未来帧。作者报告头显流式传输到策略输出的通信至推理时延约 20 ms，基于视频的光流时延中位数为 65 ms。系统在 Unitree G1 人形机器人上验证，展示了接住抛来球体等快速反应和协调的移动操作能力。
推荐理由：论文给出仅需稀疏关键点参考的全身遥操作策略，并报告头显到策略输出的时延数据，可供比较遥操作管线设计。
arXiv · cs.RO精选AI 评分6060 RangeNav：面向机器人导航的LiDAR距离图像任务对齐预训练
RangeNav 提出一个仅 183k 参数的 LiDAR 距离图像编码器，完全在合成数据上预训练，用于移动机器人导航。该方法采用各向异性卷积和循环填充处理距离图像的极端长宽比与方位接缝，并以距离重建、语义分割和 BEV 预测组成的导航对齐目标预训练后冻结用于策略学习。
推荐理由：论文给出仅183k参数的LiDAR距离图像编码器预训练方案，并对比不同监督目标对导航成功率的影响。
arXiv · cs.RO精选AI 评分7575 Watch Your Step：用落脚点预测裁剪感知输入的人形机器人运动策略
arXiv 论文 Watch Your Step 提出预期感知方法，用轻量落脚点预测模型（FPM）仅凭本体感知和速度指令预测未来落脚点，再只在这些落脚点周围采样高程图小块，替代完整机器人中心高程图输入。
推荐理由：论文提出用落脚点预测裁剪高程图输入，训练迭代约为完整地图的三分之一，并零样本迁移到 Unitree G1 实机。
arXiv · cs.RO精选AI 评分7171 REACT：用VLM引导接触重定向学习人形机器人交互策略
REACT 是一个从人人演示中学习可部署人形机器人交互策略的框架，把语义接触结构作为连接演示处理、交互学习与机载控制的监督信号。其中 VLM 引导的接触建模与重定向流程识别人人交互中的语义接触并迁移到人形机器人几何上，特权交互策略借助接触奖励学习行为后，被蒸馏为仅用机载传感的自我中心深度策略，并引入生成式伙伴状态建模以应对遮挡。
推荐理由：论文给出从人到人形机器人接触迁移并蒸馏为机载深度策略的完整流程，附仿真与Unitree G1实机结果。
arXiv · cs.RO精选AI 评分8888 SuperMimic：用单一可微世界模型扩展人形机器人全身控制
SuperMimic 提出用单一可微世界模型摊销人形机器人全身运动跟踪的学习，世界模型与跟踪策略在同一循环中联合训练，并通过短时想象 rollout 的反向传播为策略提供解析梯度。
推荐理由：论文用单一可微世界模型摊销多动作学习，给出与基线在GPU耗时和失败动作数上的对比，并报告在Unitree G1上的迁移。
arXiv · cs.RO精选AI 评分7575 FRDV：面向可扩展人形机器人学习的快速运动重定向流程
作者提出 FRDV（Fast Retargeting with Dynamics Validation），一个由快速约束运动学重定向和动力学校验两阶段组成的人形机器人运动重定向框架。
推荐理由：论文给出快速运动重定向与动力学校验两阶段流程，并对比 GMR、ProtoMotions 的跟踪成功率，可供人形机器人学习数据管线参考。
arXiv · cs.RO精选AI 评分6767 EmbodyHOI：面向人形灵巧操作的具身感知手物交互生成
EmbodyHOI 在冻结的流匹配手物交互轨迹生成器采样循环中嵌入针对特定人形本体的可微逆运动学求解器，把本体可达性约束加入生成过程。在 ARCTIC 轨迹上，该方法把 Unitree G1 与 H1-2 的重定向腕部误差从 8.9 cm 降到 0.6 cm，同时保持文本到手物交互的生成质量。
推荐理由：论文把机器人可达性约束放进 HOI 轨迹生成采样过程，并给出 G1 与 H1-2 的实机前仿真对比数据。
arXiv · cs.RO精选AI 评分6666 HS-MoDP：通过同构遥操作与独立技能路由实现人形机器人组合操作
作者提出HS-MoDP，通过共享专家池上的独立语义路由，把分别演示的手臂技能组合起来，在Unitree G1上取得比基线更强的技能组合效果。为采集全身接触操作演示，团队开发了同构外骨骼G1Exo，对机械臂构型提供关节级直接控制。
推荐理由：论文提出用同构外骨骼采集接触操作演示，并比较其与VR-IK遥操作对策略学习的影响，可供研究遥操作数据质量的人参考。