跳到正文

NEWS / 动态

#机器人学习

按时间浏览,使用右上角筛选切换领域。

10月22日周四
  1. arXiv · cs.RO62

    STR:面向人形机器人移动操作的时空偏好运动重定向

    论文提出时空重定向方法 STR,用视觉语言模型选择相关运动信号与身体部位,并据此识别关键帧,把更多求解器迭代分配给关键帧、给选定部位更高交互权重。作者还提出 Mechanics-Aware Contact Anchoring(MCA)借助近似物体力旋量模型细化物体表面接触位置,并基于所得参考轨迹构建时空强化学习 STRL,结合自适应关键阶段采样与基于目标接近度的接触位置奖励。

    推荐理由:论文用视觉语言模型挑选关键帧与关键身体部位来分配重定向优化预算,并给出仿真与实机验证,可供人形机器人全身控制参考。

  2. arXiv · cs.RO52

    预注册研究:具身智能体的经验应存入策略权重还是外部检索

    一项预注册研究比较具身智能体的经验应固化进策略权重还是外部存储并在推理时检索。在视觉条件到达任务上,把记忆增强行为蒸馏进权重仅比纯动作对照高1个百分点且不显著,作者因检验功效不足撤回而非否定该主张;把教师冻结的检索缓冲接到固定学生权重上则提升34个百分点(z=5.15),达到记忆增强教师合并参考值49.3%,预注册协议对比也一致(+23个百分点,z=3.36)。

  3. arXiv · cs.RO67

    FRED:用自蒸馏与时间上下文提升世界动作模型的未来视频表征

    论文提出 FRED 框架,通过自蒸馏让世界动作模型(WAM)在单步去噪中从噪声预测未来视频表征,并以真实未来观测提取的表征作为目标,同时用历史观测提供时间上下文。作者称在多种真实操作场景中 FRED 持续优于对比的 WAM,在零样本环境泛化的长时程与域外任务上提升明显。在仅有人类视频演示、未出现在机器人训练数据中的任务上,FRED 达到 50.0% 任务成功率,对比最佳 WAM 为 19.4%。

    推荐理由:论文提出用自蒸馏提升世界动作模型的未来视频表征质量,并给出实机操作与人类视频迁移的成功率对比。

  4. arXiv · cs.RO72

    AW-0:融合代码规划与视频动作预测的智能体世界动作模型

    研究提出 AW-0,一个将代码规划与视频、动作联合预测结合的智能体世界动作模型框架,在统一的 mixture-of-transformers 架构中联合建模代码、未来视频和机器人动作三路生成流。

    推荐理由:论文把代码规划与视频、动作联合预测放进同一架构,为世界动作模型补上技能复用这一环。

  5. arXiv · cs.RO78

    ASTEROID:非对称在策略蒸馏让历史条件学生学会上下文探索

    作者提出 ASTEROID,一个学生-教师监督学习框架,让学生先在不完全可观测下采集在策略上下文,再由特权专家基于该上下文给出动作标签,从而学会测试时探索。在 11 个环境(含离散探索基准、机器人操作、导航和 Procgen)中,该方法在固定探索预算下回报约为对比方法的 2 倍,交互次数比强化学习基线少约 100 倍。

    推荐理由:论文提出用特权专家在策略上下文上标注的蒸馏框架学习测试时探索,并在仿真与实机操作中给出对比结果。

  6. arXiv · cs.RO71

    RISE:面向感知型人形机器人跌倒恢复的测试时运动引导方法

    Osher Azulay 等人提出 RISE,一种让任务目标在推理阶段引导人形机器人起身方式的方法。该方法先学习连接预期动作与电机动作的恢复动作词表,再由视觉扩散规划器预测未来身体状态,并用任务代价把预测导向指定朝向、起身速度或路径,无需重新训练即可在测试时改变动作。仿真实验展示了多样化恢复、地形适应和测试时引导,并在宇树 G1 上给出实机演示。

    推荐理由:论文提出在推理阶段用任务代价引导人形机器人跌倒后起身的动作选择,并给出仿真实验与宇树 G1 实机演示。

  7. arXiv · cs.RO77

    DONIC:从人类演示学习通用双手灵巧跟踪控制

    DONIC 是一个通用双手灵巧跟踪器,在操作类别与人体运动来源上联合训练,并配套发布 BiHOI 多视角数据集,包含 1575 段序列、229 个物体。方法将近端策略优化与行为克隆结合成反馈回路,把验证成功的执行回收为训练演示,并用以物体为中心的逐手奖励和 Clip-Centered Advantages 支持单一策略学习异构参考下的协调操作。

    推荐理由:论文同时给出双手灵巧跟踪模型与1575段多视角数据集,并报告未见轨迹与未见物体上的成功率,可用于比较双手操作跟踪方法。

10月21日周三
  1. arXiv · cs.RO47

    面向自适应机器人运动的时空样条方法

    研究提出一种基于样条的时空表示方法,将空间几何与时间进程纳入同一组连续变量,联合估计共享贝塞尔曲线,并可独立调整空间与时间模型复杂度。仿真实验显示该方法能准确联合恢复路径区间,并通过调整模型复杂度与连续性实现细化,对演示集方差更鲁棒。在机器人辅助患者翻身任务中,用实体假人验证了在线重定时与同步能力。

  2. arXiv · cs.RO38

    机器人泛化不止靠数据量:零样本能力驱动的多样性路径

    研究将物理AI的零样本泛化表述为对部署分布的覆盖,指出同一批采集者增加样本只能缓慢缩小未见区域,而每个新贡献者都能扩展该区域。为此提出一种机器人动作共享潜空间,结合多模态对齐、生成式增强与噪声标签学习,并以在标准易用机器人Origami上构建应用的开发者社区作为多样化数据来源,最后给出将实机零样本成功率与贡献数据多样性关联的可检验假设和评估协议。

  3. arXiv · cs.RO60

    OMAR:面向场景货架整理的开放世界多属性推理方法

    OMAR 提出一套开放世界多属性推理流程,让机器人在没有预设物体词表和物体-容器对应关系的情况下,推断货架的隐含组织方式并摆放新物体。方法先用视觉语言模型给出标签及内容、包装类型等属性,经分割、深度和多视角关联完成跨视角实例定位,构建实例级3D场景图,再由LLM推理摆放排序,最后做几何与运动学可行性检查。作者称实验在实例映射和摆放一致性上优于单视角语言定位与纯几何基线,可自主摆放此前未见过的物体。

    推荐理由:论文提出用视觉语言模型与LLM推理货架隐含组织规则,为开放世界物体摆放提供可迁移的推理流程。

  4. arXiv · cs.RO60

    Post-hoc Epistemic Uncertainty for Vision-Language-Action Policies:单策略核方差头估计VLA认知不确定性

    作者提出 post-hoc kernel-variance heads,从单一 VLA 策略的嵌入中估计认知不确定性,每个头计算以训练演示嵌入为条件的高斯过程条件方差,拟合不需要回归目标或梯度更新,也不改动策略本身。

    推荐理由:论文提出无需重训的核方差头,用单一策略估计认知不确定性,并与双策略集成在LIBERO-10上对比。

  5. arXiv · cs.RO78

    SpatialDex:从纯RGB人类视频重建增强视觉运动预训练,学习3D双臂灵巧操作

    SpatialDex提出一种从纯RGB人类视频学习3D双臂灵巧操作的框架,通过重建场景几何并结合手部运动估计进行视觉运动预训练。该方法将重建几何同时作为策略输入和预测目标,用门控残差融合把预训练视觉语言模型的token网格锚定到该几何上,并预测未来场景几何与手腕、手指动作。

    推荐理由:论文给出从纯RGB人类视频重建场景几何并联合预训练双臂灵巧策略的方法,附仿真与实机对比结果。

  6. arXiv · cs.RO67

    CausGround:面向自适应具身规划的因果交互接地框架

    CausGround 是一个非参数化的因果交互接地框架,把交互经验提炼为以动作为中心的因果知识,用于具身规划。它识别动作前置条件与效果,并以分解式世界状态表示组织物体属性和物体间关系,规划时把任务相关因果依赖接地到当前观测,支持前置条件的反向推理与效果的正向推理。

    推荐理由:论文把交互经验整理成可复用的动作前置条件与效果知识,并在仿真基准和实机操作上给出对比结果。

  7. arXiv · cs.RO60

    FlowVLA:面向定量机器人倒水的流感知物理完成学习

    FlowVLA 将动作生成与物理完成度估计分离,由共享的 π_{0.5} 动作专家在边界感知监督下学习接近、倾倒和返回,并用融合视觉、关节、腕部力与循环力信念历史的目标无关估计器维持转移质量估计,当估计值加预测残余流出量达到目标质量时触发返回。

    推荐理由:论文把倒水任务的返回决策拆成动作生成与转移质量估计,并给出与多个 VLA 基线的对比结果,可供研究定量操作闭环的人参考。

  8. arXiv · cs.RO58

    DriveMLP:训练策略比模型复杂度更影响自动驾驶规划性能

    DriveMLP 提出以专家引导强化学习(EGRL)训练轻量 MLP 策略,在 nuPlan Val14 Reactive 基准上取得 86.51 分,比此前最佳模仿学习规划器 Flow Planner 高 3.2 分,推理速度提升超过 15 倍。研究通过受控实验发现,训练流程而非模型规模与复杂度贡献了相当一部分性能提升。代码已在 GitHub 开源。

  9. arXiv · cs.RO34

    Make it Walk:乐高步行机器人的计算设计方法

    研究者提出首个能设计乐高步行机器人的计算方法,使机器人既能稳定行走,又支持多种步态。该方法用定制齿轮-连杆机构配合一对3D打印非圆齿轮机械控制足部轨迹,每条腿由独立电机驱动并通过控制算法同步时序,进而协同设计形态与控制。团队据此制作了多种乐高步行机器人,展示不同步态与外观,并实物制造部分样机验证真实环境行走能力。

  10. arXiv · cs.RO55

    Integrating Flow Matching and Model Predictive Control for Safe Robot Navigation

    该预印本提出将基于流匹配的路径规划与模型预测路径跟随控制相结合的框架,用数据驱动方式生成多模态路径,并由预测控制器在线调整运动以满足状态与输入约束、利用更新的局部传感器信息避障。作者还设计了事件触发重规划机制,把预测控制的解反馈到后续路径生成中,以在存在此前未见障碍物的环境中实现无碰撞导航。移动机器人导航的仿真结果显示,该框架在杂乱环境中表现稳健。

  11. arXiv · cs.RO58

    研究提出面向刚性与弹性关节机器人轨迹跟踪的前馈控制负载泛化方法

    该论文提出一种针对负载参数泛化前馈控制动作的方法,且不依赖底层控制器。作者先推导负载泛化所需的最少示例物体数量,再给出仅凭新负载参数即可执行同一轨迹的算法,无需已知机器人动力学模型,也适用于存在弹性关节的情形。方法在仿真和实验中验证,实验使用标准 Franka Emika Panda 以及加装弹性腕的 Franka Emika Panda,覆盖不同机器人与控制器的跟踪任务。

  12. arXiv · cs.RO71

    PAL:先规划后执行的分层记忆框架用于机器人长程操作

    PAL 是一个面向视觉语言机器人操作的分层记忆框架,用高层 VLM 把流式视觉观测转成可执行 subtask_list,执行时再选出当前子任务交给低层 VLA 策略。

    推荐理由:论文提出分层记忆框架,把长程任务规划提前写入可执行子任务列表,并给出仿真基准与四项实机任务的对比结果。

  13. arXiv · cs.RO60

    RGF:用关系几何对齐改进世界动作模型的机器人操作

    论文提出关系几何强制(RGF),通过对齐成对特征关系而非逐点特征,把冻结3D基础模型的几何先验迁移到世界动作模型(WAM)。作者发现逐点几何对齐虽改善视频特征却会损害动作学习,RGF 用帧内、跨视角和动作-时序三类关系目标,且仅在训练阶段使用,不增加几何分支或推理模块。仿真与实机实验显示,该方法在多种操作场景和 WAM 范式下取得一致提升。

    推荐理由:论文指出逐点几何对齐会损害动作学习,提出用成对特征关系迁移3D先验,并在仿真与实机中验证。

  14. arXiv · cs.RO72

    TIDE:面向机器人操作的人在环在线后训练系统

    作者提出 TIDE(Training In DEployment),一个面向机器人操作的人在环在线后训练系统,可在部署过程中利用人工干预和策略自身 rollout 在线更新策略,无需学习 critic、奖励模型或动作评分器。

    推荐理由:论文提出无需价值函数或奖励模型的在线后训练系统,并在四项真实双臂操作任务上对比热启动策略与离线演示。

  15. arXiv · cs.RO60

    DepState-JEPA:以深度锚定状态表征的RGB-D联合嵌入预测架构

    作者提出 DepState-JEPA,一种双流 RGB-D 联合嵌入预测架构,通过共享隐状态 DepState 把空间理解与动作条件预测连接起来。该框架基于 V-JEPA 2.1,将深度同时作为互补观测流并把两种模态锚定到度量三维空间,动作条件转移后由同一组解码器预测未来 RGB 与深度特征。

    推荐理由:论文提出以深度观测锚定共享隐状态的双流预测架构,可用于比较机器人操作中的状态表征设计。

  16. arXiv · cs.RO67

    SMR:从人类语义学习人形机器人流式运动重定向

    SMR 提出一种流式神经运动重定向器,从语义条件物理专家学习,将人类运动转为人形机器人可执行的运动参考。方法先把人类运动转换为机器人感知的任务空间目标,由物理专家在仿真中于接触、动力学和执行器约束下跟踪,再用严格因果的 Transformer 学习其执行状态轨迹。

    推荐理由:论文提出从语义条件物理专家学习流式重定向,对比运动学与物理精修基线,可供人形机器人运动参考生成研究比较。

  17. arXiv · cs.RO56

    研究:表征先验如何影响世界动作模型的泛化能力

    arXiv 论文研究世界动作模型(WAMs)因生成骨干不同而在泛化性能上出现明显差异的原因,从模型继承自骨干的表征几何及策略训练对其的重组入手分析。作者提出用干扰正交性量化表征先验,即特征在经验分布流形之外的视觉变化下的正交程度,并在多种图像和视频骨干上发现先验正交性越高,WAM 训练后对视觉变化的鲁棒性越强。

  18. arXiv · cs.RO62

    RoPT:面向视频的鲁棒6DoF物体位姿跟踪框架

    RoPT 是一个面向视频的鲁棒 6DoF 物体位姿跟踪框架,作者称其把视觉感知、时序运动学与全局重定位耦合成闭环,以应对快速运动下的跟踪发散。视觉部分通过跟踪物体掩码处理部分和严重遮挡,运动学因子图则约束帧间更新、预测前向位姿并驱动多假设并行验证以避开局部极小。作者在多个挑战性基准和真实机器人演示中报告,快速运动下的跟踪存活率显著更高。

    推荐理由:论文把视觉感知、时序运动学与全局重定位耦合成闭环,用于应对快速运动下的位姿跟踪发散,可供机器人交互感知研究参考。

  19. arXiv · cs.RO63

    SLoSa:面向机器人任务规划的小尺寸低功耗安全基础模型

    SLoSa 是一个神经符号压缩与微调框架,用于训练小尺寸、低功耗且具备安全意识的机器人任务规划基础模型。该框架先用经典规划器、教师大模型和形式化验证器构建安全数据集,再经监督微调与由验证奖励机引导的强化学习微调。

    推荐理由:论文给出小尺寸规划模型在 PDDL 任务、家用仿真与桌面机械臂上的成功率与功耗数据,可对照大模型本地部署的资源约束。

  20. arXiv · cs.RO71

    GGraph:面向机器人部署与学习的 GPU 加速图库开源发布

    Yash Rampuria 等作者提出开源 GPU 加速图库 GGraph,同时支持真实机器人部署和大规模策略训练。GGraph 通过 ROS 2 接口接入真实机器人,并支持向量化 GPU 策略训练,内置 3-D 导航、探索和回环整合等任务。单机器人运行时图更新为毫秒级,规模化训练可跨数百个并行机器人,训练实际耗时降低一个数量级;结果来自仿真与真实世界实验。

    推荐理由:GGraph 把图构建放到 GPU 上,并同时覆盖 ROS 2 部署与并行训练,为图表示机器人策略提供可复用基础设施。

  21. arXiv · cs.RO60

    HyperDrone:每秒数百万帧的四旋翼仿真到现实迁移

    HyperDrone 是一个面向高性能批量渲染的四旋翼仿真器,作者称其速度超过现有先进批量四旋翼仿真器 20 倍以上。它结合优化的多旋翼动力学与光线追踪引擎 HyperLux,支持 Nvidia OptiX、Vulkan、Apple Metal 和 WebGPU 后端,可渲染 RGB、深度、语义/实例分割、表面法线和光流,并在消费级 GPU 上达到数百万帧每秒。

    推荐理由:论文给出比现有批量四旋翼仿真器快 20 倍以上的渲染方案,并把纯仿真训练的偏航控制策略迁移到 Crazyflie 实机。

  22. arXiv · cs.RO38

    面向协作迭代任务的动态博弈学习框架

    研究提出一种适用于非线性非凸动态博弈的通用学习框架,利用已执行可行轨迹构建采样联合安全集和各玩家代价函数,每个时间步由智能体共同选择采样终端状态及到达该状态的广义纳什均衡,仅当满足玩家约定的协作接受规则时才采纳新解。框架支持个体不退化要求及加权代价、纳什议价等选择准则,并证明递归可行性、刻画各玩家代价随迭代不增的条件。

  23. arXiv · cs.RO62

    FLEX:用语言引导机器人任务特征表征编辑

    MIT 等机构作者提出 Flexible Feature Editing Pipeline(FLEX),用语言模型根据自然语言纠正迭代编辑机器人内部任务特征表征,包含添加缺失特征、泛化已有具体特征、屏蔽无关特征三种操作。

    推荐理由:论文提出用语言模型迭代增删与泛化任务特征的表征编辑流程,并在导航、Franka 操作与真人语言纠正实验中比较不同编辑方式。

  24. arXiv · cs.RO58

    inr2action 提出将机器人片段编码为神经隐式表示的参数空间记忆框架

    inr2action 提出参数空间记忆框架,将每个机器人片段拟合为神经隐式表示,其权重增量作为记忆,大小不随片段帧数变化。学习到的投影器把权重增量映射为 token 嵌入,用于语言模型问答和关节指令回归解码,查询时无需检索原始帧。在 RoboMME 上,语言模型在所有问题类型上超过随机水平,解码器平均 R² 为 0.51;将权重增量替换为匹配噪声后性能下降 11.4 点,随机初始化的权重无法解码。