跳到正文

技术方向

具身智能 最新动态

与机器人感知、决策和物理交互直接相关的具身智能进展

143 条精选近 30 天 140 条共收录 290 条

更新

具身智能的精选

10月30日周五第 1–20 条
  1. arXiv · cs.RO60

    NovaSplat:用3D高斯泼溅引导与细化实现无模型6D物体位姿估计

    NovaSplat提出一种无模型6D物体位姿估计流程,仅用引导阶段拍摄的短智能手机视频训练3D高斯泼溅模型,该模型既作为检测与粗位姿估计的模板来源,也作为位姿细化的可微主干。

    推荐理由:论文用手机短视频训练3D高斯泼溅表示,为无CAD模型的新物体6D位姿估计提供可复现流程。

  2. arXiv · cs.RO62

    ActionUNet:用高效多尺度微调提升VLA模型鲁棒性

    Di Zhu、Ziheng Yan、Fang Wan 提出 ActionUNet,一个在预训练 VLA 模型上做高效多尺度微调的框架,用于缓解粗粒度语义与细粒度时序执行之间的对齐问题。

    推荐理由:论文提出在预训练VLA上做多尺度微调的轻量框架,并给出π0.5在三个测试设置下的成功率提升幅度,可供比较微调策略。

  3. arXiv · cs.RO67

    WNM-3D:以3D场景条件驱动的闭环视觉语言导航世界模型

    作者提出WNM-3D,一个面向连续视觉语言导航(VLN)的生成式世界导航模型,用冻结的前馈几何编码器从单目RGB历史提取跨视角表示,再经可训练的3D Scene-to-Token Adapter转为定长场景前缀,通过块因果注意力在联合去噪中持续提供给世界-动作Diffusion Transformer。

    推荐理由:论文把3D场景几何作为持续条件注入世界-动作扩散模型,并给出GN-Bench与VLN-CE上的对照结果,可供比较世界模型路线。

  4. arXiv · cs.RO60

    从生物曲线到模块化软体机器人:带不确定性引导修正的学习型逆向设计

    该预印本提出一个 real-to-sim-to-real 框架,通过代理辅助逆向设计与不确定性引导修正,把生物曲线转成线驱动模块化软体机器人的构型。学习得到的前向代理模型把形变预测时间从 1.53×10^5 ms 降到 0.0008 ms,约 1.9×10^8 倍加速;逆向设计时间从 1.99×10^6 ms 降到 4.18 ms。

    推荐理由:论文给出用学习代理模型替代物理建模做软体模块机器人逆向设计的思路,并报告了加速比与重建成功率。

  5. arXiv · cs.RO72

    HumiMimic:从野外视频迁移人-人形机器人交互动作

    作者提出 HumiTransfer 框架,将野外人人交互视频转换为物理合理的人-人形机器人交互动作,并据此构建 HumiMimic 数据集。该数据集覆盖 26 自由度 Unitree R1 Edu 与 23 自由度 HighTorque Mini-hi 两款机器人,由 1200 段视频生成约 50 万帧交互数据。

    推荐理由:论文提出从野外人人交互视频迁移到人形机器人的框架,并构建约50万帧数据集,可用于比较跨本体动作迁移方法。

  6. arXiv · cs.RO67

    MOVER:从人类视频学习可泛化人形机器人搬运策略

    研究提出 MOVER,一个多阶段 Teacher-Assistant-Student 强化学习框架,用于人形机器人物体搬运。该方法先用 GENMO 和 GMR 重定向视频数据并做数据增强,再分三阶段训练,最后用 Dagger-PPO 蒸馏去掉本体位置观测和参考关节位置,使部署策略依靠机载 RGB-D 相机感知物体位姿。

    推荐理由:论文给出从视频数据到实机部署的三阶段强化学习框架,可用于比较人形机器人搬运策略的空间泛化路径。

  7. arXiv · cs.RO67

    OmniDex发布260万杂乱场景数据集与灵巧抓取模型

    OmniDex提出可扩展的seed-and-filter策略,构建了包含超260万场景和0.4B场景特定抓取真值的杂乱场景灵巧抓取基准。研究同时提出OmniDex模型,通过Soft Winner-Takes-All学习、类人物理约束训练和物理驱动排序,避免后优化延迟。实验称该模型在多样场景、视角和未见物体上取得state-of-the-art性能与较强泛化。

    推荐理由:论文同时给出260万杂乱场景抓取数据集与OmniDex模型,可用于比较仿真数据规模与灵巧抓取泛化路线。

  8. arXiv · cs.RO72

    EmbodiRSI:面向数据高效机器人适配的递归自改进系统

    EmbodiRSI 是一个在真实到仿真再回真实流程中做递归自改进的智能体系统,用任务专属仿真作为低成本环境迭代改进策略后再迁回物理世界。在三个桌面环境和 14 个子任务上,经过两轮 RSI 更新,场景均衡的自主仿真成功率从 50.4% 提升到 83.5%。

    推荐理由:论文给出真实到仿真再回真实的递归自改进流程,并对比少量真实数据与大量真实演示的适配效果。

  9. arXiv · cs.RO60

    研究团队用编码智能体学习并迁移闭环机器人软件

    So Kuroki 等人在 arXiv 预印本中提出把完整闭环机器人实现当作可复用的执行经验,由编码智能体从少量成功演示生成策略代码,并用仿真反馈迭代改进。在 RoboCasa 的四个源任务上,成功率从初始生成代码的 28.3% 提升到验证筛选代码的 64.2%,该方法还在 Unitree G1 实机上做了验证。

    推荐理由:论文把闭环策略实现当作可复用经验,用 RoboCasa 四任务与九个迁移任务的对照数据说明源码优化与跨任务迁移的关系。

  10. arXiv · cs.RO60

    EAFG:用视觉证据门控 VLM 与 TAMP 的任务与运动规划

    作者提出证据获取与可行性门控框架 EAFG,让 VLM 生成子目标、机器人执行 TAMP 规划的动作序列以获取视觉证据,再据此决定继续任务规划、继续获取证据还是停止。在三个烹饪场景(明确指定所需物体、指令欠明确、所需物体缺失)中,EAFG 在明确与欠明确场景下任务完成情况优于 VLM-TAMP 基线,并在所需物体缺失时能适当停止。该工作为 arXiv 预印本(arXiv:2608.20084)。

    推荐理由:论文提出用视觉证据门控 VLM 子目标与 TAMP 规划,并在三个烹饪场景中与 VLM-TAMP 基线对比,可供关注长程操作规划的研究者参考。

  11. arXiv · cs.RO72

    EgoHTR发布第一视角人体地形穿越4D演示数据集

    EgoHTR数据集发布,用第一视角可穿戴设备与便携3D扫描仪采集了55段场景对齐的4D人体运动序列,覆盖多样复杂环境,共超过15万帧。作者称该数据在运动捕捉真值对比中达到当前先进精度,并据此训练感知式运动策略,在Unitree G1上完成重建参考动作的硬件部署。重建流程已开源,支持社区扩展数据集。

    推荐理由:该数据集用第一视角可穿戴设备与便携3D扫描仪采集55段场景对齐的4D人体运动序列,并给出实机部署结果,可供人形机器人在非结构化地形上的学习研究参考。

  12. arXiv · cs.RO60

    MoF:面向双臂移动操作的多框架动作去噪扩散策略

    作者提出 Mixture of Frames Policy(MoF),一种在多个坐标框架间同步进行动作去噪的扩散策略,通过单一规范扩散状态、框架专用去噪器和噪声预测融合实现。

    推荐理由:论文提出跨多个坐标框架同步去噪的扩散策略,并在九个仿真任务和两个实机任务上比较单框架基线。

  13. arXiv · cs.RO60

    RE4:基于操作模式的物体交互模仿学习框架

    Arsh Chawla 与 Rahul Shome 提出 RE4 框架,用操作模式理论检索并变换演示数据,以可解释的四步流程完成物体交互模仿学习。该框架包含模式感知的演示检索、模式感知变换,以及保持模式约束并连接检索点的重规划步骤,最终返回变换后的演示用于 rollout。

    推荐理由:论文把操作模式理论用于演示检索与变换,在仿真基准和实机实验中检验可解释策略的鲁棒性。

  14. arXiv · cs.RO62

    FlowS:用局部传输条件化实现单步运动预测

    FlowS提出局部传输条件化,用条件流匹配框架实现单步生成式运动预测。该方法包含两个机制:在线场景条件学习先验为每个智能体输出K条已接近合理未来的锚定轨迹,把模式发现转为局部修正;步一致位移场通过半群自一致性保证单步继承多步精度。

    推荐理由:论文提出局部传输条件化,把单步生成式运动预测的精度与低时延同时纳入,并给出Waymo数据集上的对比结果。

  15. arXiv · cs.RO72

    AffordSim:面向可供性感知机器人操作的可扩展数据生成器与基准

    AffordSim 是一个将开放词汇3D可供性预测集成到仿真轨迹生成中的数据生成器与基准,可根据自然语言任务描述合成场景、生成可供性查询并采样区域条件抓取,再用运动规划筛选可执行候选。

    推荐理由:论文给出将开放词汇3D可供性预测接入仿真轨迹生成的数据生成器与50任务基准,可用于比较可供性感知操作的数据构建方式。

  16. arXiv · cs.RO62

    LPS:通过一步流策略实现潜空间策略引导的离线强化学习方法

    作者提出潜空间策略引导(LPS),将原始动作空间的Q梯度通过可微的一步MeanFlow策略回传,以更新潜动作空间actor,从而省去代理潜空间critic。该方法让原始动作空间critic端到端引导潜空间优化,同时以一步MeanFlow策略作为行为约束的生成先验。

    推荐理由:论文提出用可微一步MeanFlow策略回传原始动作空间Q梯度,省去代理潜空间critic,为离线RL策略改进提供可迁移思路。

  17. arXiv · cs.RO65

    Combining Constrained Sampling and Reinforcement Learning for Manipulation 论文提出约束采样重置方法

    Marc Toussaint 等人提出一种状态采样器,将约束流形上的采样用于重置状态分布,以提升接触丰富操作任务中目标条件强化学习的探索效率。该方法结合约束采样重置、投影插值和课程学习,作者称其优于无约束采样的强化学习及替代重置方法,并在全身与手内接触丰富场景中训练出通用、抓取与非抓取操作策略。论文被 CoRL 2026 接收,项目页面提供视频与完整源码。

    推荐理由:论文把约束流形采样用于重置状态分布,为接触丰富操作中的强化学习探索提供了一种可迁移的训练思路。

  18. arXiv · cs.RO60

    MoVLR:用视觉语言模型为肌肉骨骼控制学习奖励函数

    作者提出 MoVLR 框架,利用视觉语言模型在控制优化与 VLM 反馈之间迭代探索奖励空间,为高维肌肉骨骼系统的运动与操作发现和细化奖励函数,而非依赖手工设计奖励。该方法把语言和视觉评估转化为具身学习的结构化引导,论文称结果说明 VLM 能把抽象动作描述对应到生理运动控制中的隐含原则。该工作已被 L4DC 2026 接收,arXiv 编号 2512.23077。

    推荐理由:论文提出用视觉语言模型迭代反馈来发现高维肌肉骨骼系统的奖励函数,可了解语言目标如何转成控制奖励。

  19. arXiv · cs.RO62

    综述:接触密集机器人任务的安全学习,从经典方法到安全基础模型

    一篇被npj Robotics接收的94页综述系统梳理了接触密集机器人任务的安全学习方法,将其分为安全探索与安全执行两大类。文章回顾了约束强化学习、风险敏感优化、不确定性建模、控制屏障函数和模型预测安全盾等技术,并重点讨论这些安全原则如何延伸到VLM与VLA基础模型,包括语言级约束指定与安全信号多模态落地带来的新机会和放大风险。作者同时列出当前局限与面向复杂接触环境的未来方向。

    推荐理由:综述把接触密集任务的安全学习拆成安全探索与安全执行两类,并讨论这些原则如何延伸到VLM/VLA基础模型。