跳到正文

NEWS / 动态

#机器人学习

按时间浏览,使用右上角筛选切换领域。

10月22日周四
  1. arXiv · cs.RO66

    STAMP:借助人类运动先验实现机器人动作衔接

    论文提出 STAMP 框架,通过 Robot-to-Human-to-Robot 流程把独立采集的人形机器人动作连接成连续序列。其核心是学习到的对齐模型,在动作重定向到人体骨架后为后续动作排序候选位置、朝向和过渡时长,再由人类运动先验在选定对齐下生成过渡。作者在 Unitree G1 和 ROBOTIS K1 上评估生成过渡的跟踪成功率,并用实机演示展示 STAMP 将独立动作连成长时程序列。

    推荐理由:论文提出用人类运动先验衔接独立采集的人形动作,并在 Unitree G1 与 ROBOTIS K1 上评估跟踪成功率。

  2. arXiv · cs.RO60

    ALMA:用LLM辅助主动任务生成的空中移动操作策略学习框架

    论文提出ALMA空中移动操作框架,用上下文飞行策略适应机械臂外部指令,并通过LLM分析控制难点、生成新的机械臂运动结构用于后续训练。仿真中位置RMSE相对最强基线最多降低24.7%,同一策略零样本迁移到真实空中机械臂后,在周期性机械臂运动下悬停位置RMSE相对真实世界基线降低79.6%。

    推荐理由:论文提出用LLM分析控制难点并生成机械臂运动结构,为空中作业的自适应飞行控制提供可迁移的训练思路。

  3. arXiv · cs.RO60

    EBV-CAN:面向接触辅助内窥镜导航的视觉语言策略

    研究提出EBV-CAN,一种结合初始全局鸟瞰图、内窥镜观测与电机状态的视觉语言策略,用于柔性内窥镜的接触辅助导航。团队构建VLCA数据集,包含517条演示、75k动作样本、958k空间条目和93k剩余路径记录;在50个留出回合中,尖端坐标与路点定位分别达到97.5%和94.8%。

    推荐理由:论文给出内窥镜接触辅助导航的视觉语言策略与VLCA数据集,并对比动作模仿与任务完成两类指标。

  4. arXiv · cs.RO62

    研究:流匹配 VLA 策略中单步欧拉积分已足够

    一项 arXiv 预印本研究考察流匹配 VLA 机器人策略中欧拉积分的单步与多步采样差异,作者在六个流匹配 VLA 上发现,模型训练充分且容量足够时,单步动作生成大体可匹配多步采样,多步积分在推理阶段几乎没有一致优势。作者据此指出,对大型 VLA 而言,单步策略可直接从多步模型获得,无需重训练、蒸馏或额外辅助目标,从而支持低延迟部署。

    推荐理由:该预印本在六个流匹配 VLA 上比较单步与多步采样,为低延迟部署是否需要额外训练目标提供实证参照。

  5. arXiv · cs.RO63

    Co^2Gen:为去中心化多机器人与人类协作自动生成任务规划

    Co^2Gen 提出一个框架,用去中心化协作规划方法生成可执行函数形式的多机器人协作计划,再据此产出协作演示数据,以去中心化方式微调 VLA 模型,无需人工遥操作。作者称,用这些数据微调后的 VLA 模型在去中心化协作任务上的表现,与用人工遥操作协作数据微调的模型相当。该工作针对 VLA 模型与其他机器人及人类协作能力尚未被充分探索的问题。

    推荐理由:论文提出用去中心化协作规划自动生成多机器人演示数据,免去人工遥操作,并与人工遥操作数据微调效果对比。

  6. arXiv · cs.RO62

    STR:面向人形机器人移动操作的时空偏好运动重定向

    论文提出时空重定向方法 STR,用视觉语言模型选择相关运动信号与身体部位,并据此识别关键帧,把更多求解器迭代分配给关键帧、给选定部位更高交互权重。作者还提出 Mechanics-Aware Contact Anchoring(MCA)借助近似物体力旋量模型细化物体表面接触位置,并基于所得参考轨迹构建时空强化学习 STRL,结合自适应关键阶段采样与基于目标接近度的接触位置奖励。

    推荐理由:论文用视觉语言模型挑选关键帧与关键身体部位来分配重定向优化预算,并给出仿真与实机验证,可供人形机器人全身控制参考。

  7. arXiv · cs.RO52

    预注册研究:具身智能体的经验应存入策略权重还是外部检索

    一项预注册研究比较具身智能体的经验应固化进策略权重还是外部存储并在推理时检索。在视觉条件到达任务上,把记忆增强行为蒸馏进权重仅比纯动作对照高1个百分点且不显著,作者因检验功效不足撤回而非否定该主张;把教师冻结的检索缓冲接到固定学生权重上则提升34个百分点(z=5.15),达到记忆增强教师合并参考值49.3%,预注册协议对比也一致(+23个百分点,z=3.36)。

  8. arXiv · cs.RO67

    FRED:用自蒸馏与时间上下文提升世界动作模型的未来视频表征

    论文提出 FRED 框架,通过自蒸馏让世界动作模型(WAM)在单步去噪中从噪声预测未来视频表征,并以真实未来观测提取的表征作为目标,同时用历史观测提供时间上下文。作者称在多种真实操作场景中 FRED 持续优于对比的 WAM,在零样本环境泛化的长时程与域外任务上提升明显。在仅有人类视频演示、未出现在机器人训练数据中的任务上,FRED 达到 50.0% 任务成功率,对比最佳 WAM 为 19.4%。

    推荐理由:论文提出用自蒸馏提升世界动作模型的未来视频表征质量,并给出实机操作与人类视频迁移的成功率对比。

  9. arXiv · cs.RO72

    AW-0:融合代码规划与视频动作预测的智能体世界动作模型

    研究提出 AW-0,一个将代码规划与视频、动作联合预测结合的智能体世界动作模型框架,在统一的 mixture-of-transformers 架构中联合建模代码、未来视频和机器人动作三路生成流。

    推荐理由:论文把代码规划与视频、动作联合预测放进同一架构,为世界动作模型补上技能复用这一环。

  10. arXiv · cs.RO78

    ASTEROID:非对称在策略蒸馏让历史条件学生学会上下文探索

    作者提出 ASTEROID,一个学生-教师监督学习框架,让学生先在不完全可观测下采集在策略上下文,再由特权专家基于该上下文给出动作标签,从而学会测试时探索。在 11 个环境(含离散探索基准、机器人操作、导航和 Procgen)中,该方法在固定探索预算下回报约为对比方法的 2 倍,交互次数比强化学习基线少约 100 倍。

    推荐理由:论文提出用特权专家在策略上下文上标注的蒸馏框架学习测试时探索,并在仿真与实机操作中给出对比结果。

  11. arXiv · cs.RO71

    RISE:面向感知型人形机器人跌倒恢复的测试时运动引导方法

    Osher Azulay 等人提出 RISE,一种让任务目标在推理阶段引导人形机器人起身方式的方法。该方法先学习连接预期动作与电机动作的恢复动作词表,再由视觉扩散规划器预测未来身体状态,并用任务代价把预测导向指定朝向、起身速度或路径,无需重新训练即可在测试时改变动作。仿真实验展示了多样化恢复、地形适应和测试时引导,并在宇树 G1 上给出实机演示。

    推荐理由:论文提出在推理阶段用任务代价引导人形机器人跌倒后起身的动作选择,并给出仿真实验与宇树 G1 实机演示。

  12. arXiv · cs.RO77

    DONIC:从人类演示学习通用双手灵巧跟踪控制

    DONIC 是一个通用双手灵巧跟踪器,在操作类别与人体运动来源上联合训练,并配套发布 BiHOI 多视角数据集,包含 1575 段序列、229 个物体。方法将近端策略优化与行为克隆结合成反馈回路,把验证成功的执行回收为训练演示,并用以物体为中心的逐手奖励和 Clip-Centered Advantages 支持单一策略学习异构参考下的协调操作。

    推荐理由:论文同时给出双手灵巧跟踪模型与1575段多视角数据集,并报告未见轨迹与未见物体上的成功率,可用于比较双手操作跟踪方法。

10月21日周三
  1. arXiv · cs.RO47

    面向自适应机器人运动的时空样条方法

    研究提出一种基于样条的时空表示方法,将空间几何与时间进程纳入同一组连续变量,联合估计共享贝塞尔曲线,并可独立调整空间与时间模型复杂度。仿真实验显示该方法能准确联合恢复路径区间,并通过调整模型复杂度与连续性实现细化,对演示集方差更鲁棒。在机器人辅助患者翻身任务中,用实体假人验证了在线重定时与同步能力。

  2. arXiv · cs.RO38

    机器人泛化不止靠数据量:零样本能力驱动的多样性路径

    研究将物理AI的零样本泛化表述为对部署分布的覆盖,指出同一批采集者增加样本只能缓慢缩小未见区域,而每个新贡献者都能扩展该区域。为此提出一种机器人动作共享潜空间,结合多模态对齐、生成式增强与噪声标签学习,并以在标准易用机器人Origami上构建应用的开发者社区作为多样化数据来源,最后给出将实机零样本成功率与贡献数据多样性关联的可检验假设和评估协议。

  3. arXiv · cs.RO60

    OMAR:面向场景货架整理的开放世界多属性推理方法

    OMAR 提出一套开放世界多属性推理流程,让机器人在没有预设物体词表和物体-容器对应关系的情况下,推断货架的隐含组织方式并摆放新物体。方法先用视觉语言模型给出标签及内容、包装类型等属性,经分割、深度和多视角关联完成跨视角实例定位,构建实例级3D场景图,再由LLM推理摆放排序,最后做几何与运动学可行性检查。作者称实验在实例映射和摆放一致性上优于单视角语言定位与纯几何基线,可自主摆放此前未见过的物体。

    推荐理由:论文提出用视觉语言模型与LLM推理货架隐含组织规则,为开放世界物体摆放提供可迁移的推理流程。

  4. arXiv · cs.RO60

    Post-hoc Epistemic Uncertainty for Vision-Language-Action Policies:单策略核方差头估计VLA认知不确定性

    作者提出 post-hoc kernel-variance heads,从单一 VLA 策略的嵌入中估计认知不确定性,每个头计算以训练演示嵌入为条件的高斯过程条件方差,拟合不需要回归目标或梯度更新,也不改动策略本身。

    推荐理由:论文提出无需重训的核方差头,用单一策略估计认知不确定性,并与双策略集成在LIBERO-10上对比。

  5. arXiv · cs.RO78

    SpatialDex:从纯RGB人类视频重建增强视觉运动预训练,学习3D双臂灵巧操作

    SpatialDex提出一种从纯RGB人类视频学习3D双臂灵巧操作的框架,通过重建场景几何并结合手部运动估计进行视觉运动预训练。该方法将重建几何同时作为策略输入和预测目标,用门控残差融合把预训练视觉语言模型的token网格锚定到该几何上,并预测未来场景几何与手腕、手指动作。

    推荐理由:论文给出从纯RGB人类视频重建场景几何并联合预训练双臂灵巧策略的方法,附仿真与实机对比结果。

  6. arXiv · cs.RO67

    CausGround:面向自适应具身规划的因果交互接地框架

    CausGround 是一个非参数化的因果交互接地框架,把交互经验提炼为以动作为中心的因果知识,用于具身规划。它识别动作前置条件与效果,并以分解式世界状态表示组织物体属性和物体间关系,规划时把任务相关因果依赖接地到当前观测,支持前置条件的反向推理与效果的正向推理。

    推荐理由:论文把交互经验整理成可复用的动作前置条件与效果知识,并在仿真基准和实机操作上给出对比结果。

  7. arXiv · cs.RO60

    FlowVLA:面向定量机器人倒水的流感知物理完成学习

    FlowVLA 将动作生成与物理完成度估计分离,由共享的 π_{0.5} 动作专家在边界感知监督下学习接近、倾倒和返回,并用融合视觉、关节、腕部力与循环力信念历史的目标无关估计器维持转移质量估计,当估计值加预测残余流出量达到目标质量时触发返回。

    推荐理由:论文把倒水任务的返回决策拆成动作生成与转移质量估计,并给出与多个 VLA 基线的对比结果,可供研究定量操作闭环的人参考。

  8. arXiv · cs.RO58

    DriveMLP:训练策略比模型复杂度更影响自动驾驶规划性能

    DriveMLP 提出以专家引导强化学习(EGRL)训练轻量 MLP 策略,在 nuPlan Val14 Reactive 基准上取得 86.51 分,比此前最佳模仿学习规划器 Flow Planner 高 3.2 分,推理速度提升超过 15 倍。研究通过受控实验发现,训练流程而非模型规模与复杂度贡献了相当一部分性能提升。代码已在 GitHub 开源。

  9. arXiv · cs.RO34

    Make it Walk:乐高步行机器人的计算设计方法

    研究者提出首个能设计乐高步行机器人的计算方法,使机器人既能稳定行走,又支持多种步态。该方法用定制齿轮-连杆机构配合一对3D打印非圆齿轮机械控制足部轨迹,每条腿由独立电机驱动并通过控制算法同步时序,进而协同设计形态与控制。团队据此制作了多种乐高步行机器人,展示不同步态与外观,并实物制造部分样机验证真实环境行走能力。

  10. arXiv · cs.RO55

    Integrating Flow Matching and Model Predictive Control for Safe Robot Navigation

    该预印本提出将基于流匹配的路径规划与模型预测路径跟随控制相结合的框架,用数据驱动方式生成多模态路径,并由预测控制器在线调整运动以满足状态与输入约束、利用更新的局部传感器信息避障。作者还设计了事件触发重规划机制,把预测控制的解反馈到后续路径生成中,以在存在此前未见障碍物的环境中实现无碰撞导航。移动机器人导航的仿真结果显示,该框架在杂乱环境中表现稳健。

  11. arXiv · cs.RO58

    研究提出面向刚性与弹性关节机器人轨迹跟踪的前馈控制负载泛化方法

    该论文提出一种针对负载参数泛化前馈控制动作的方法,且不依赖底层控制器。作者先推导负载泛化所需的最少示例物体数量,再给出仅凭新负载参数即可执行同一轨迹的算法,无需已知机器人动力学模型,也适用于存在弹性关节的情形。方法在仿真和实验中验证,实验使用标准 Franka Emika Panda 以及加装弹性腕的 Franka Emika Panda,覆盖不同机器人与控制器的跟踪任务。

  12. arXiv · cs.RO71

    PAL:先规划后执行的分层记忆框架用于机器人长程操作

    PAL 是一个面向视觉语言机器人操作的分层记忆框架,用高层 VLM 把流式视觉观测转成可执行 subtask_list,执行时再选出当前子任务交给低层 VLA 策略。

    推荐理由:论文提出分层记忆框架,把长程任务规划提前写入可执行子任务列表,并给出仿真基准与四项实机任务的对比结果。

  13. arXiv · cs.RO60

    RGF:用关系几何对齐改进世界动作模型的机器人操作

    论文提出关系几何强制(RGF),通过对齐成对特征关系而非逐点特征,把冻结3D基础模型的几何先验迁移到世界动作模型(WAM)。作者发现逐点几何对齐虽改善视频特征却会损害动作学习,RGF 用帧内、跨视角和动作-时序三类关系目标,且仅在训练阶段使用,不增加几何分支或推理模块。仿真与实机实验显示,该方法在多种操作场景和 WAM 范式下取得一致提升。

    推荐理由:论文指出逐点几何对齐会损害动作学习,提出用成对特征关系迁移3D先验,并在仿真与实机中验证。

  14. arXiv · cs.RO72

    TIDE:面向机器人操作的人在环在线后训练系统

    作者提出 TIDE(Training In DEployment),一个面向机器人操作的人在环在线后训练系统,可在部署过程中利用人工干预和策略自身 rollout 在线更新策略,无需学习 critic、奖励模型或动作评分器。

    推荐理由:论文提出无需价值函数或奖励模型的在线后训练系统,并在四项真实双臂操作任务上对比热启动策略与离线演示。

  15. arXiv · cs.RO60

    DepState-JEPA:以深度锚定状态表征的RGB-D联合嵌入预测架构

    作者提出 DepState-JEPA,一种双流 RGB-D 联合嵌入预测架构,通过共享隐状态 DepState 把空间理解与动作条件预测连接起来。该框架基于 V-JEPA 2.1,将深度同时作为互补观测流并把两种模态锚定到度量三维空间,动作条件转移后由同一组解码器预测未来 RGB 与深度特征。

    推荐理由:论文提出以深度观测锚定共享隐状态的双流预测架构,可用于比较机器人操作中的状态表征设计。

  16. arXiv · cs.RO67

    SMR:从人类语义学习人形机器人流式运动重定向

    SMR 提出一种流式神经运动重定向器,从语义条件物理专家学习,将人类运动转为人形机器人可执行的运动参考。方法先把人类运动转换为机器人感知的任务空间目标,由物理专家在仿真中于接触、动力学和执行器约束下跟踪,再用严格因果的 Transformer 学习其执行状态轨迹。

    推荐理由:论文提出从语义条件物理专家学习流式重定向,对比运动学与物理精修基线,可供人形机器人运动参考生成研究比较。

  17. arXiv · cs.RO56

    研究:表征先验如何影响世界动作模型的泛化能力

    arXiv 论文研究世界动作模型(WAMs)因生成骨干不同而在泛化性能上出现明显差异的原因,从模型继承自骨干的表征几何及策略训练对其的重组入手分析。作者提出用干扰正交性量化表征先验,即特征在经验分布流形之外的视觉变化下的正交程度,并在多种图像和视频骨干上发现先验正交性越高,WAM 训练后对视觉变化的鲁棒性越强。

  18. arXiv · cs.RO62

    RoPT:面向视频的鲁棒6DoF物体位姿跟踪框架

    RoPT 是一个面向视频的鲁棒 6DoF 物体位姿跟踪框架,作者称其把视觉感知、时序运动学与全局重定位耦合成闭环,以应对快速运动下的跟踪发散。视觉部分通过跟踪物体掩码处理部分和严重遮挡,运动学因子图则约束帧间更新、预测前向位姿并驱动多假设并行验证以避开局部极小。作者在多个挑战性基准和真实机器人演示中报告,快速运动下的跟踪存活率显著更高。

    推荐理由:论文把视觉感知、时序运动学与全局重定位耦合成闭环,用于应对快速运动下的位姿跟踪发散,可供机器人交互感知研究参考。

  19. arXiv · cs.RO63

    SLoSa:面向机器人任务规划的小尺寸低功耗安全基础模型

    SLoSa 是一个神经符号压缩与微调框架,用于训练小尺寸、低功耗且具备安全意识的机器人任务规划基础模型。该框架先用经典规划器、教师大模型和形式化验证器构建安全数据集,再经监督微调与由验证奖励机引导的强化学习微调。

    推荐理由:论文给出小尺寸规划模型在 PDDL 任务、家用仿真与桌面机械臂上的成功率与功耗数据,可对照大模型本地部署的资源约束。