跳到正文

NEWS / 动态

#机器人学习

按时间浏览,使用右上角筛选切换领域。

10月23日周五
  1. arXiv · cs.RO62

    RoboCode:学习可复用动作基元的机器人操作策略

    RoboCode 提出一种共享软门控动作基元接口,把动作块表示为多个学习基元的软组合,而非单一离散编码。该接口在多个任务的动作块上学习后冻结,再训练任务特定的状态编码器映射到共享潜空间。在五个 ManiSkill 操作任务上,动作块平均重建 MSE 为 0.0187,闭环平均成功率为 75.6%,高于 ACT 的 68.8% 和 Diffusion Policy 的 41.6%。

    推荐理由:论文提出跨任务共享的软门控动作基元接口,并在五个 ManiSkill 任务上给出重建误差与闭环成功率对比。

  2. arXiv · cs.RO63

    几何感知强化学习用于紧身可穿戴物插入任务

    研究将机器人辅助穿衣表述为几何感知插入问题,用身体部位与衣物开口的空间关系替代完整可变形物体状态,并提出结合分阶段课程与逐指插入软门控的强化学习框架。训练后可变形评估中完整方法成功率为84.7±1.2%,消融显示插入门控贡献最大,叠加课程后得分最高。在假人手模型上,同一完整策略于实机20次试验中成功15次。

    推荐理由:论文把穿衣任务建模为几何感知插入问题,并用消融实验定位插入软门控与课程学习的贡献。

  3. arXiv · cs.RO71

    TravSUITE:自监督不确定性感知IRL与地形估计的可通行性系统

    TravSUITE 是一个面向越野高速导航的可通行性系统,由利用视觉基础模型构建几何语义局部地图的体素建图器,以及联合预测 BEV 几何、语义、速度与代价的统一神经网络组成。

    推荐理由:论文给出无标注自监督的可通行性系统,消融显示代价学习与辅助修复各自贡献规划质量,并附实机风险适配实验。

  4. arXiv · cs.RO52

    研究将测试时训练接入 InternVLA-A1 与 Pi0.5,探索人类演示训练

    作者把测试时训练(TTT)接入 InternVLA-A1 和 Pi0.5,用成对的人类演示与机器人轨迹研究以演示为条件的动作生成。实验显示,在当前规模下加入 TTT 并用成对数据训练,并未带来基于演示的一致目标选择;更短序列、全轨迹梯度连通和对比正则化在测试设置下也未明显提升对演示的响应。

  5. arXiv · cs.RO71

    DiscoDemo:用强化学习生成多样机器人演示以改进模仿学习

    DiscoDemo 提出用强化学习生成多样化机器人演示数据,再导出为静态数据集供下游视觉运动模仿学习使用。该方法训练带特权信息的潜在条件强化学习生成器,结合并行逆向课程与成功门控的多样性目标,产出多条成功的闭环行为并做安全过滤。

    推荐理由:论文把强化学习当作数据生成器,用多解多样性提升下游模仿学习,并给出仿真与实机成功率对比。

  6. arXiv · cs.RO40

    高斯过程回归中的输入偏差校正

    提出偏差感知高斯过程(Ba-GP)框架,利用已记录GP后验均值梯度将估计的输入偏差与噪声传播为均值与协方差修正,并借助加性协方差结构实现数值高效的一阶校正算法。仿真研究与室内光照强度建图实验显示,Ba-GP相对噪声输入GP基线提升了预测精度与不确定性校准,计算成本比完整GP重训练低一个数量级。

  7. arXiv · cs.RO78

    arXiv 论文研究月面机器人集群的涌现式协同保温

    arXiv 论文研究月面机器人集群能否以自身成员作为热屏蔽,用强化学习训练一套由二十台机器人共享的策略。策略只在月夜结束时收到一次奖励,即最冷五台机器人的平均温度,奖励不含位置、间距、暴露或运动信息,集群仍涌现出聚集和在外围与核心间轮换两种行为。

    推荐理由:研究用单一末端温度奖励训练共享策略,让二十台机器人自发形成聚集与轮换行为,并给出与静止抱团及物理下界的能耗对比。

  8. arXiv · cs.RO80

    研究:VLA 全权重微调缺少 fp32 主副本会静默抹掉大部分更新

    一项 arXiv 预印本研究指出,VLA 模型以 bf16 训练且无 fp32 主副本时,AdamW 会把小于权重 1/512 的更新直接舍入掉;12 个开源 VLA 代码库中有 9 个默认或文档配方这样训练,包括 LeRobot 的 SmolVLA 默认配置及其 π0/π0.5 指南。

    推荐理由:研究指出 bf16 微调 VLA 会静默抹掉大部分权重更新,并给出 fp32 主副本在 LIBERO 上的对比结果,可作为训练配置的参考。

  9. arXiv · cs.RO71

    EgoForesight:用带噪第一视角动作扩展 VLA 策略学习

    EgoForesight 提出一种视觉-语言-动作框架,联合利用机器人演示与带噪第一视角视频训练策略,通过可靠性条件加噪、可靠性加权回归和特权未来表征蒸馏降低不可靠动作标签的影响。在 3 万小时预训练数据下,其缩放斜率比基线更陡,真实世界开环动作 MSE 降低 20.5%,RoboCasa 少样本成功率提升 8.1 个百分点。后训练后,该方法在仿真与真实世界的灵巧操作任务上也取得较强的绝对性能。

    推荐理由:论文提出用带噪第一视角动作联合训练 VLA 策略,并给出 3 万小时预训练下的缩放对比与实机开环误差数据。

  10. arXiv · cs.RO77

    FORCA:面向接触密集机器人操作的力感知编码智能体

    FORCA 是一个以视觉观测和腕部力/力矩测量为输入、为接触探测与力响应运动编写 Python 程序的编码智能体,无需演示、任务特定训练或仿真。它在五次实机任务中覆盖三类接触密集操作:提升操作精度、适应物体或表面属性变化、在表面变化与物体运动下调节接触。与同一智能体的纯视觉版本相比,FORCA 提升了抓取精度和任务成功率,并减少了擦拭与剥离中的接触丢失。

    推荐理由:论文展示编码智能体如何结合腕部力/力矩反馈改写接触操作程序,为力感知策略提供可迁移的闭环思路。

  11. arXiv · cs.RO63

    WorldMirror:从野外机器人演示生成可交互仿真世界的智能体框架

    WorldMirror 是一个智能体式 real-to-sim 框架,可从野外机器人演示构建可交互数字孪生。它把 real-to-sim 构建表述为可执行世界程序的迭代精炼:编码智能体分解场景、规划重建步骤并调度图像与 3D 生成工具,再通过验证反馈修正程序。在 DROID 上的实验显示,该框架能重建视觉忠实、几何一致的可交互世界,并保持所记录机器人轨迹的物理有效性。

    推荐理由:论文把野外机器人演示转成可交互仿真世界,其世界程序迭代修正思路可供仿真数据构建参考。

  12. arXiv · cs.RO64

    SEVI:面向真实世界策略学习的安全证据强化学习框架

    作者提出 SEVI 框架,用于真实世界策略在线学习中的可靠性感知安全干预,其 Evidential Safety Critic 在一次前向计算中同时估计未来约束违反风险与认知不确定性。

    推荐理由:论文提出带证据不确定性的安全干预框架,在仿真与真实USB插入任务上对比恢复式安全强化学习,可用于评估在线学习的安全过滤思路。

  13. arXiv · cs.RO67

    PrefO2O:通过离线到在线潜偏好迁移实现零样本偏好强化学习

    PrefO2O 提出一种离线到在线潜偏好迁移框架,可在没有人工反馈的情况下对未见目标任务做零样本偏好强化学习。该方法从源任务的少量离线偏好数据中学习任务无关的潜偏好空间,将可迁移偏好结构与任务特定变化解耦,并用置信度加权最优传输对齐生成伪偏好监督用于在线奖励适配。

    推荐理由:论文提出从少量源任务偏好数据学习任务无关潜空间,在无人工反馈下迁移到新任务,可供比较偏好学习的数据效率路径。

  14. arXiv · cs.RO66

    KiRoSe 用运动学数据高效分割机器人演示

    KiRoSe 提出用机器人运动学数据而非原始多路视频来分割机器人演示,以降低多模态大模型的处理成本。该方法借鉴 Huffman 编码思路构建稀疏运动 token(SMT),用带时间分段监督的运动轨迹编码并量化得到离散运动词汇,再以演示子任务标注监督开放语言模型解读 token 序列。

    推荐理由:论文用机器人运动学数据替代多路视频做演示分段,并给出跨本体零样本迁移的评测结果,可供数据清洗与检索参考。

  15. arXiv · cs.RO58

    Sensorimotor Alignment:用免训练离线指标预测具身策略成功率

    Yunfei Xie 等作者提出 Sensorimotor Alignment(S²),一种免训练的离线指标,用于衡量模型感官表征与物理运动几何的对齐程度。作者称 S² 在多个模型家族中与下游机器人任务成功率正相关,可在闭环评测前用于模型优先级排序,也能在将 VLM 微调为 VLA 之前筛选有潜力的视觉语言模型骨干。

  16. arXiv · cs.RO72

    基于注意力接触规划的人形机器人移动学习框架

    研究提出一种人形机器人移动学习框架,将运动数据仅作为训练先验,用自监督注意力接触规划器预测未来身体与环境接触,再由接触条件跟踪器生成全身协调动作。该框架让单一策略在部署时仅依赖机载观测、无需参考输入,并通过后续微调探索原始运动数据未覆盖的环境变化。作者称这一设计使策略内化接触感知的运动结构,而非直接复刻运动学轨迹。

    推荐理由:论文把接触规划作为观测与动作之间的接口,为参考动作数据与强化学习探索的结合提供了一种可迁移的训练框架。

  17. arXiv · cs.RO72

    Echo:为VLA模型联合去噪动作与任务状态信号

    Echo提出一种框架,将停止与失败两类任务状态信号作为每个动作块的两个维度,与机器人动作一起去噪,从而区分执行中、成功完成和失败三种状态。该方法无需帧级进度标注,通过构建成功、失败和恢复轨迹进行监督,并让状态信号比动作更快去噪,使后续动作去噪步骤能基于更干净的状态估计。真实世界操作实验显示,Echo能较准确预测任务状态并持续提升策略性能。

    推荐理由:论文把停止与失败信号并入动作块联合去噪,为VLA执行决策提供了一种免帧级进度标注的训练思路。

  18. arXiv · cs.RO63

    WarpWeaver:面向多机器人协调的去中心化实时规划协议

    论文提出去中心化实时规划器 WarpWeaver,通过分散式列生成让多机器人协商共享空间租金,在静止时给出近最优协议认证。在 Dynobench 仿真中,其总行程时间较集中式离线规划器最多降低 22%,较去中心化实时基线最多降低 37%,在图连通性任务上成功率接近任务专用规划器的两倍。六台机器人机载规划的硬件实验表明该协议具备实际可实施性。

    推荐理由:论文提出多机器人去中心化实时规划协议 WarpWeaver,并在仿真与六机器人实机上给出与集中式离线规划器的对比结果。

  19. arXiv · cs.RO58

    SCOPE:用规划错误修正优化场景图,生成机器人长期规划数据集

    SCOPE 是一个自动生成多样化且可执行的任务与运动规划(TAMP)数据集的框架,通过规划执行失败作为反馈信号回溯修正场景图中的逻辑不一致。该框架引入多级多样性指标以提升场景信息熵,实验显示其对错误场景图更稳健、生成数据质量更高。用 SCOPE 数据微调的下游 TAMP 模型成功率比用 DELTA 生成数据微调的模型绝对提升 12.33%。

  20. arXiv · cs.RO67

    SkeLAM:以骨架监督分解潜动作的机器人世界模型

    作者提出 SkeLAM,一种骨架引导的潜动作模型,用于可控机器人世界建模,将潜动作分解为由机器人骨架监督约束的运动学分量和保留其余视觉动态的残差分量。在 DROID 上,SkeLAM 相比 DreamDojo 将末端执行器 ADE 降低 19.5%、LPIPS 降低 11.1%。

    推荐理由:论文把机器人运动学分量从潜动作中分离出来,为世界模型的可控生成提供了一种可迁移的建模思路。

10月22日周四
  1. arXiv · cs.RO74

    概率能量建模统一多样化集群控制

    作者提出用概率能量建模统一多样化集群控制,把基本集群行为编码为可复用的能量项,再由轻量策略门控组合成单一控制器而无需重训练。该方法在 aerial swarms 上零样本泛化到六类任务、10-100 个智能体、两个硬件平台以及室内杂乱和 GPS 拒止林地环境。大规模仿真任务成功率为 0.96-1.00,单智能体推理时延 1-10 ms,实机部署确认了向真实平台和非结构化环境的零样本迁移。

    推荐理由:论文把多种集群任务统一为可复用的能量项组合,并给出跨规模、跨平台的零样本迁移结果,可供集群控制研究比较。

  2. arXiv · cs.RO58

    Joint-CI:面向点与物体特征的多机器人分布式不变EKF SLAM融合方法

    论文提出Joint-CI,一种用于点特征、物体特征及混合点-物体地图的分布式右不变EKF SLAM统一融合方法。该方法在接收机器人的误差坐标中构造其位姿与公共特征的联合估计,保留机器人-特征和特征-特征相关性,再用部分状态协方差交集与本地后验融合。

  3. arXiv · cs.RO60

    RGraph-Eval:用任务场景图评估机器人视频生成

    作者提出 RGraph-Eval,一个基于参考演示的机器人视频生成评估框架,用任务场景图显式暴露物体错移、抓取消失、放置偏离等交互错误。该框架将任务实体、交互与运动组织在统一可解释的场景图表示中,由基础模型流水线识别操作角色、定位物体掩码、推断并核验状态转移与动作区间,并重建被操作物体的三维运动。

    推荐理由:提出以任务场景图评估机器人视频生成,把物体、关系变化与三维轨迹纳入统一表示,并配套1000个场景数据集。

  4. arXiv · cs.RO53

    倾转旋翼四旋翼结合学习残差控制与模式相关状态估计

    论文提出一套面向2.00千克倾转旋翼四旋翼的仿真飞行栈,用级联PD控制器指令前后与侧向倾转角,并以14状态EKF在悬停、过渡初期和过渡模式间融合传感器数据。由于比例位置环在恒定风下存在稳态偏差,作者在未改动的PD控制器上叠加小型有界神经残差,通过行为克隆从可访问真实风速的教师网络训练,部署网络不观测风速。

  5. arXiv · cs.RO43

    机器人系统多工具选择:语义检索与LLM对比

    研究对比了三种基于ChromaDB的语义检索路由策略与云端1200亿参数大模型在机器人工具选择任务上的表现,评测集为164条人工标注提示,覆盖单工具到需至少三个工具的复合请求。CDB-v3在纯检索方法中宏平均得分最高,为0.7822,大模型基线为0.8869。大模型路由质量更高,但CDB-v3延迟显著更低且可本地部署、无需云连接。

  6. arXiv · cs.RO55

    研究重新审视腹腔镜机器人操作中的状态到视觉策略蒸馏

    该研究提出一个面向腹腔镜机器人操作的状态到视觉策略蒸馏框架,以带特权状态观测的状态策略作为教师,让视觉策略从RGB观测和机器人本体感知信息中学习。作者在仿真环境的多项手术操作任务上实验,结果显示通用强化学习方法训练视觉策略较为困难,而所提蒸馏方法在各任务上表现更一致、更稳定。该方法所需专家演示少于模仿学习,性能优于强化学习方法。

  7. arXiv · cs.RO71

    UniFlowWAM:融合视觉语义与4D几何的统一世界-动作模型

    上海交通大学等团队提出 UniFlowWAM,将3D场景流作为与视觉、动作并列的第三模态,构建统一世界-动作模型。该模型采用扩散Transformer,每个模态一个专家,通过联合注意力交换信息,并在十目标角色网格下训练,同一模型可充当策略、前向与逆向动力学以及未来视觉特征或3D流预测器。

    推荐理由:论文把3D场景流作为与视觉、动作并列的第三模态,并给出仿真与四项实机双臂任务的对比结果。

  8. arXiv · cs.RO58

    IORA:低自由度耦合手在受限驱动下的不规则物体固定抓取合成

    IORA 提出一种支撑面感知的抓取合成框架,面向低自由度耦合手实现不规则物体的固定。该方法把手与物体局部表面区域表示为图并搜索运动学可行的匹配,再细化腕部位姿与电机状态,并通过物理仿真 rollout 验证抓取。实验显示该方法能生成多种抓取构型并取得较高抓取成功率和抗扰动能力,真实实验在烹饪场景中演示了可物理执行的抓取。

  9. arXiv · cs.RO66

    STAMP:借助人类运动先验实现机器人动作衔接

    论文提出 STAMP 框架,通过 Robot-to-Human-to-Robot 流程把独立采集的人形机器人动作连接成连续序列。其核心是学习到的对齐模型,在动作重定向到人体骨架后为后续动作排序候选位置、朝向和过渡时长,再由人类运动先验在选定对齐下生成过渡。作者在 Unitree G1 和 ROBOTIS K1 上评估生成过渡的跟踪成功率,并用实机演示展示 STAMP 将独立动作连成长时程序列。

    推荐理由:论文提出用人类运动先验衔接独立采集的人形动作,并在 Unitree G1 与 ROBOTIS K1 上评估跟踪成功率。

  10. arXiv · cs.RO60

    ALMA:用LLM辅助主动任务生成的空中移动操作策略学习框架

    论文提出ALMA空中移动操作框架,用上下文飞行策略适应机械臂外部指令,并通过LLM分析控制难点、生成新的机械臂运动结构用于后续训练。仿真中位置RMSE相对最强基线最多降低24.7%,同一策略零样本迁移到真实空中机械臂后,在周期性机械臂运动下悬停位置RMSE相对真实世界基线降低79.6%。

    推荐理由:论文提出用LLM分析控制难点并生成机械臂运动结构,为空中作业的自适应飞行控制提供可迁移的训练思路。

  11. arXiv · cs.RO60

    EBV-CAN:面向接触辅助内窥镜导航的视觉语言策略

    研究提出EBV-CAN,一种结合初始全局鸟瞰图、内窥镜观测与电机状态的视觉语言策略,用于柔性内窥镜的接触辅助导航。团队构建VLCA数据集,包含517条演示、75k动作样本、958k空间条目和93k剩余路径记录;在50个留出回合中,尖端坐标与路点定位分别达到97.5%和94.8%。

    推荐理由:论文给出内窥镜接触辅助导航的视觉语言策略与VLCA数据集,并对比动作模仿与任务完成两类指标。

  12. arXiv · cs.RO62

    研究:流匹配 VLA 策略中单步欧拉积分已足够

    一项 arXiv 预印本研究考察流匹配 VLA 机器人策略中欧拉积分的单步与多步采样差异,作者在六个流匹配 VLA 上发现,模型训练充分且容量足够时,单步动作生成大体可匹配多步采样,多步积分在推理阶段几乎没有一致优势。作者据此指出,对大型 VLA 而言,单步策略可直接从多步模型获得,无需重训练、蒸馏或额外辅助目标,从而支持低延迟部署。

    推荐理由:该预印本在六个流匹配 VLA 上比较单步与多步采样,为低延迟部署是否需要额外训练目标提供实证参照。

  13. arXiv · cs.RO63

    Co^2Gen:为去中心化多机器人与人类协作自动生成任务规划

    Co^2Gen 提出一个框架,用去中心化协作规划方法生成可执行函数形式的多机器人协作计划,再据此产出协作演示数据,以去中心化方式微调 VLA 模型,无需人工遥操作。作者称,用这些数据微调后的 VLA 模型在去中心化协作任务上的表现,与用人工遥操作协作数据微调的模型相当。该工作针对 VLA 模型与其他机器人及人类协作能力尚未被充分探索的问题。

    推荐理由:论文提出用去中心化协作规划自动生成多机器人演示数据,免去人工遥操作,并与人工遥操作数据微调效果对比。