跳到正文

NEWS / 动态

#预印本

按时间浏览,使用右上角筛选切换领域。

10月21日周三
  1. arXiv · cs.RO72

    UniWALM:统一世界-动作-语言模型用于具身机器人控制

    UniWALM 提出统一世界-动作-语言模型,在单一混合Transformer骨干中联合学习视频、动作与语言,各模态既作条件信号也作监督目标,并在同一次解码中输出子任务与文本记忆,无需独立规划阶段。

    推荐理由:论文把视频、动作与语言放进同一混合Transformer骨干联合生成,并给出记忆依赖任务与实机对比数据,可供比较统一建模路线。

  2. arXiv · cs.RO60

    Industrial ReMEmbR 将时空记忆扩展到机器人车队

    IndustrialRemembr 提出面向机器人车队的共享时空记忆系统,扩展 NVIDIA ReMEmbR,仅在需要时生成场景描述以降低服务端计算。每台机器人用 NVIDIA Jetson 将视频片段编码为检索嵌入、视觉 token 和重建潜变量,不上传原始相机画面。

    推荐理由:论文给出机器人车队共享时空记忆的端侧编码与按需解码方案,并报告缓存 token 解码与未拆分模型输出一致。

  3. arXiv · cs.RO58

    PUN:用神经算子在控制噪声下学习价值场进行规划

    作者提出 Planning Under Noise(PUN),一种学习噪声感知价值场的神经算子,用于在未见几何环境中进行规划。该方法在障碍物上施加反射 Neumann 边界条件、在目标处施加 Dirichlet 条件,并扩展 Monte Carlo 求解器 Walk on Stars 到更高维,从部分收敛的噪声标签中学习几何到价值场的映射。

  4. arXiv · cs.RO75

    PhysCanvas:用于机器人策略评估与学习的视觉触觉世界模型

    PhysCanvas 是一个面向接触密集机器人操作的视觉触觉世界模型,将多视角 RGB、触觉图像、标记位移、任务状态与动作统一到同一视觉空间,并共享视频 VAE 与预训练生成骨干。

    推荐理由:论文把视觉与触觉统一进世界模型,并给出世界模型成功率与真实任务的相关性数据,可用于比较策略评估方案。

  5. arXiv · cs.RO31

    Warping the Workspace:可调可达映射扩展人形机器人遥操作视觉访问

    研究提出耦合视觉-运动重映射方法,将全景方位扭曲与上肢偏航逆变换配对,用于第一人称人形机器人遥操作,并实现Global Zoom(GZ)与Focus+Context(F+C)原型。在N=8的被试内研究中完成72次试验,GZ完成数最高(23/24;Fixed为20/24,F+C为21/24),但6/8参与者更偏好F+C,该样本中完成率与偏好指向不同映射。

  6. arXiv · cs.RO71

    AgenticRoboRL:将编码智能体后训练引入具身机器人规划器

    AgenticRoboRL提出一种跨不同机器人执行框架后训练规划器的框架,训练方案结合监督微调与多轮强化学习。为适配VLA技能调用和控制代码生成等不同执行机制,该方法用框架专属适配器把记录下来的规划器交互与任务结果关联起来,同时保持执行组件固定。

    推荐理由:论文提出跨不同机器人执行框架的规划器后训练方法,并给出LIBERO-PRO上9B规划器成功率从18.1%升至71.0%的对比。

  7. arXiv · cs.RO71

    SceneRig:从单张图像重建可仿真3D场景的智能体系统

    SceneRig 是一个智能体系统,可将单张图像重建为可编辑、可直接用于仿真的3D场景。它结合几何、视觉与物理工具,并在物理仿真器内执行编辑与验证循环以获得物理稳定性。作者称,相比基线方法,SceneRig 在实例分割、物体外观和3D摆放上有所改善,其场景能更准确地预测真实机器人策略结果,并更可靠地支持已录制操作在无需轨迹适配的情况下回放。

    推荐理由:论文提出从单张图像重建可仿真场景的智能体系统,并给出下游机器人策略预测与操作回放的对比结果。

  8. arXiv · cs.RO58

    CoGaussian:基于高斯表示的开放词汇协同3D场景理解框架

    CoGaussian 提出一种基于高斯的开放词汇协同语义占据预测框架,把场景表示为与基础模型对齐的稀疏3D高斯,用于多智能体间几何与语义信息的通信和融合。作者指出,现有协同语义占据方法依赖稠密3D体素标注且只能识别预定义语义类别。在 Semantic-OPV2V 基准上,该方法优于现有的开放词汇单智能体方法。

  9. arXiv · cs.RO71

    REACT:用VLM引导接触重定向学习人形机器人交互策略

    REACT 是一个从人人演示中学习可部署人形机器人交互策略的框架,把语义接触结构作为连接演示处理、交互学习与机载控制的监督信号。其中 VLM 引导的接触建模与重定向流程识别人人交互中的语义接触并迁移到人形机器人几何上,特权交互策略借助接触奖励学习行为后,被蒸馏为仅用机载传感的自我中心深度策略,并引入生成式伙伴状态建模以应对遮挡。

    推荐理由:论文给出从人到人形机器人接触迁移并蒸馏为机载深度策略的完整流程,附仿真与Unitree G1实机结果。

  10. arXiv · cs.RO88

    SuperMimic:用单一可微世界模型扩展人形机器人全身控制

    SuperMimic 提出用单一可微世界模型摊销人形机器人全身运动跟踪的学习,世界模型与跟踪策略在同一循环中联合训练,并通过短时想象 rollout 的反向传播为策略提供解析梯度。

    推荐理由:论文用单一可微世界模型摊销多动作学习,给出与基线在GPU耗时和失败动作数上的对比,并报告在Unitree G1上的迁移。

  11. arXiv · cs.RO67

    CLOSER:面向具身物体目标导航的证据感知主动视觉验证框架

    CLOSER提出证据感知的主动验证框架,把物体目标导航中的停止决策当作闭环证据采集,将视觉语言模型验证与主动感知结合。该框架微调开源VLM,把候选目标在各帧的视图标注为目标、非目标或不确定,用基于嵌入的多样性门控挑选互补视图,再由轻量网络融合各视图概率;若融合判断仍不确定,扩散策略仅依据跟踪掩码和深度驱动智能体靠近候选目标,直到判断明确。

    推荐理由:论文把停止决策改写为闭环证据采集,用VLM多视角验证加扩散策略主动靠近,为ObjectNav误检问题提供可迁移方法。

  12. arXiv · cs.RO75

    FRDV:面向可扩展人形机器人学习的快速运动重定向流程

    作者提出 FRDV(Fast Retargeting with Dynamics Validation),一个由快速约束运动学重定向和动力学校验两阶段组成的人形机器人运动重定向框架。

    推荐理由:论文给出快速运动重定向与动力学校验两阶段流程,并对比 GMR、ProtoMotions 的跟踪成功率,可供人形机器人学习数据管线参考。

  13. arXiv · cs.RO64

    GPT-6-Astra 触觉策略在五项 UniVTAC 任务上取得 93.8% 平均成功率

    研究提出 GPT-as-Tactile-Policy,将专家演示总结为任务指引和触觉参考,由 GPT-6-Astra 结合多模态观测与交互历史生成控制指令,无需额外机器人专用预训练或逐任务策略微调。在五项 UniVTAC 任务上平均成功率为 93.8%,Insert Hole 任务中触觉反馈将成功率从 31% 提升到 99%。执行分析显示模型能依据接触反馈进行试探与纠正。

    推荐理由:论文用接触丰富操作任务检验通用多模态模型能否借触觉反馈调整动作,并给出与专用策略的对比结果。

10月20日周二
  1. arXiv · cs.RO60

    TaskWAM:用任务状态引导世界-动作模型走向预期未来

    论文提出TaskWAM,一个闭环、阶段感知的世界-动作模型框架,用Mode Tokens表示细粒度任务要求、用State Tokens跟踪执行进度,以缓解长程操作中局部合理但方向错误的推演导致的阶段混淆。

    推荐理由:论文提出阶段混淆问题并给出TaskWAM与StageBench,可用于比较世界-动作模型的长程任务控制方法。

  2. arXiv · cs.RO62

    CAPSafe:面向具身智能体情境化动作与规划安全推理的基准

    作者提出CAPSafe基准,从动作级和规划级两个层面评估具身智能体的安全推理,其中动作级判断单个动作在给定环境情境下是否安全,规划级评估智能体能否为复杂危险家务任务生成安全的长程规划。

    推荐理由:该预印本提出情境化动作与长程规划两级安全基准,并给出九个LLM在危险识别与安全规划间的差距数据。

  3. arXiv · cs.RO60

    研究揭示驾驶 VLA 的感知-动作绑定缺口,并提出冻结采样器引导修复

    研究指出,推理增强的驾驶 VLA 能感知并推理安全关键危险,却未能把危险信息转化为安全动作,作者将这一现象称为感知-动作绑定缺口。基于匹配的仿真反事实和驾驶日志回放,研究发现路径内危险确实被编码进视觉表征,但纵向规划主要由自车速度历史主导,对危险距离和模型自身推理轨迹响应很弱。

    推荐理由:论文用匹配仿真反事实与实车日志回放,把驾驶 VLA 的危险感知与制动控制分开诊断,并给出不改权重的生成时引导方案。

  4. arXiv · cs.RO63

    GPL:为视觉-语言-动作模型引入生成式计划隐变量

    作者提出生成式计划隐变量(GPL),把VLA的推理状态表示为对计划(如选哪个物体、抓取或路线)的低维条件分布,使计划可采样、可按请求选择、可按部署结果重加权,且无需重新训练VLA。

    推荐理由:论文把VLA的推理状态建模为可采样的计划分布,并在仿真操作任务上对比了计划引导与动作分布引导的差异。

  5. arXiv · cs.RO60

    CPR:从预测几何到动作,学习互补预测表征用于具身操作

    作者提出两阶段框架 CPR,从多视角视频片段学习互补的预测几何表征用于具身操作。预训练阶段用冻结的 3D 基础模型提供稠密几何特征,压缩为预测几何表征并保留场景结构及其时序演化,再对几何转移施加动作监督提取运动表征;下游后训练通过几何查询迁移预测几何,运动表征引导动作生成路径上的中间特征。

    推荐理由:论文提出两阶段框架,从多视角视频学习互补预测几何表征,并在 LIBERO、SimplerEnv 与实机任务上对比下游策略表现。

  6. arXiv · cs.RO20

    HAKUTO 微型月球探测车飞行模型热控策略设计与实现

    针对 HAKUTO 月球探测车飞行模型(FM),研究将其划分为六个辐射面建立分析热模型,依据朝向太阳辐射通量及月球辐射、太阳反照率、月壤传导等因素确定表面温度,并据此选定航电设备安装位置与太阳翼角度,在整备质量低于 4 kg 的前提下兼顾热性能与发电。初步分析后开展数值仿真,并在真空环境中通过热平衡试验验证设计。

  7. arXiv · cs.RO71

    DirectWAM:将世界-动作模型蒸馏为单步预测的机器人控制方法

    DirectWAM 通过动作充分蒸馏把预训练视频与动作专家转为单步预测器,在 LIBERO 四个套件平均成功率 97.1%、RoboTwin 2.0 上 85.4%,推理延迟较完整迭代教师降低 28.0 倍。

    推荐理由:论文分析世界-动作模型中视觉预测误差对动作的影响,提出单步蒸馏方法,并给出仿真基准与实机任务结果。

  8. arXiv · cs.RO58

    中断感知循环强化学习提升UAS导航在临时接管后的安全性

    论文研究UAS在远程飞行员或机载避撞系统临时接管后交还控制权时,循环强化学习策略的性能退化问题。基准测试显示中断会使任务变量更难从循环隐藏状态中解码,并提高中断后碰撞风险。作者提出三种中断感知架构,在仿真中均比标准循环策略保留更多可解码任务信息,其中最强架构相对循环基线将中断后碰撞减少74%、中断导致的任务失败减少69%,且未降低无中断时的性能。

  9. arXiv · cs.RO58

    FIT-MAC:面向鲁棒 VLA 模型的闭环多智能体框架

    FIT-MAC 是一个失败感知的闭环多智能体控制框架,在推理阶段为 VLA 策略增加控制层以提升鲁棒性。该框架由 Planner、Grounder、Verifier 和 Correction 四个智能体组成,分别负责任务解析、视觉目标绑定、执行进度跟踪与失败类型区分,以及将干预路由到目标重绑定或有界抓取与放置恢复;无需干预时仍由预训练 VLA 生成动作。

  10. arXiv · cs.RO58

    PVF:用时序差分学习概率可达-规避值函数

    作者提出概率可达-规避值函数(PVF),一种适用于黑盒系统的自监督方法,在随机且可能无界的扰动下把可达-规避集定义为满足一定可达-规避概率的状态。该方法在复杂度递增的系统上、直至Hopper运动任务,与基于HJR的基线对比,结果显示在扰动非对抗时,概率集比对抗式HJR集更不保守、更准确。论文为arXiv预印本。

  11. arXiv · cs.RO48

    面向球形移动3D建图的LiDAR-惯性里程计实时地面法向量估计

    针对球形移动建图系统(SMMS)快速旋转与地面覆盖有限的问题,提出两种基于RANSAC的地面法向量估计方法:单帧扫描估计(法向量打分加多步验证)和基于LiDAR-惯性里程计(LIO)全局3D地图的估计。在多个真实数据集上以地面激光扫描仪为真值评估,LIO方法在精度和鲁棒性上显著优于单帧方法。将地面法向量估计融入运动模型可改善位姿估计,支持挑战性与危险环境中的自主导航。

  12. arXiv · cs.RO67

    PACT-VLA:用提交前观测验证候选动作块,缓解VLA异步推理延迟

    PACT-VLA 提出一种免训练框架,用推理起始观测生成候选动作块,再用提交前观测从中选出完整动作块,以缓解异步推理延迟导致的成功率下降。其 FlowRes 评分衡量候选隐含流方向与冻结策略在提交前观测下预测速度的残差,无需单独验证器;流水线实现使选择不增加控制步延迟。

    推荐理由:论文针对异步推理的观测滞后问题提出免训练的动作块选择方法,并给出仿真与实机成功率对比。

  13. arXiv · cs.RO55

    研究拆解期望自由能作为潜世界模型规划的测试时算力控制器

    一项 arXiv 预印本研究拆解期望自由能(EFE)能否决定潜世界模型规划该花多少算力,并分别测试候选打分、停止规则与在线预测器更新。当精英代价停滞时停止细化,在成功率随深度饱和的任务上平均成功率接近固定深度参照;在测试的较大权重下,奖励预测分歧会降低冻结模型的成功率,惩罚分歧则在部分任务和权重设置下有益、在另一些设置下有害。

  14. arXiv · cs.RO60

    LocoPilot:单操作员双边遥操作采集四足移动操作策略数据

    LocoPilot 是一个单操作员双边遥操作与数据采集框架,部署在 12 自由度 Unitree Go2 四足机器人上,该机器人搭载 6 自由度 AgileX Piper L 机械臂、Intel RealSense D435 腕部相机和 D405 头部相机。

    推荐理由:论文给出单操作员双边遥操作采集四足加机械臂演示的完整方案,并展示从采集到策略部署的同一动作接口。

  15. arXiv · cs.RO62

    HuTact:从人类手物交互数据学习触觉感知手部表征

    Yu 等人提出 HuTact 框架,从大规模人类手物交互数据预训练触觉感知手部表征,预训练阶段不需要真实触觉信号。该方法把从人手运动中学到的交互结构迁移到机器人触觉观测,并可用少量无标注机器人交互数据进一步适配。

    推荐理由:论文提出用人类手物交互数据预训练触觉表征,并给出抓取预测在少样本下的对比数字,可供触觉学习数据来源参考。

  16. arXiv · cs.RO62

    EventSync:面向历史依赖操作的事件驱动记忆更新框架

    EventSync 是一个分层框架,通过事件驱动的记忆更新协调任务推理与动作执行:视觉语言模型依据任务计划和交互历史生成子目标,视觉-语言-动作模型负责执行,轻量 Event Monitor 结合视觉观测与末端执行器轨迹判断当前子目标是否完成,只有取得完成证据后才写入已完成子目标历史并触发下一步推理。

    推荐理由:论文提出事件驱动的子目标完成判定与记忆更新机制,并在 RoboMME 基准和四类实机任务上给出结果,可供做长程操作记忆的研究者参考。

  17. arXiv · cs.RO58

    PointHand研究:遥操作手部关键点渲染如何影响新手演示与策略学习

    研究提出遥操作界面PointHand,将多指机器人手渲染为指尖与关节的稀疏关键点,并在仿真杯子入盒任务中比较三种渲染方式。18名新手与4名专家共采集2200次试验,看到拇指与食指被强调的新手在600次试验中获得441次成功演示,而看到真实手形的新手为320次。

  18. arXiv · cs.RO60

    分层QP控制与权限引导恢复规划实现眼科机器人高精度RCM运动

    研究提出一种带奇异恢复的高精度RCM伺服架构,用于通用机械臂在软件远心运动下执行眼科器械定位。作者将RCM与末端跟踪目标冲突导致的伺服振荡形式化为约束诱导任务奇异,即RCM投影后的末端雅可比降秩而未投影雅可比仍良态。

    推荐理由:论文把眼科手术中RCM与末端跟踪冲突形式化为约束诱导任务奇异,并给出分层QP加恢复规划的实机验证路径。

  19. arXiv · cs.RO62

    RoboCasa-Shift:面向长程家务操作 VLA 策略的分阶段鲁棒性评测基准

    作者提出 RoboCasa-Shift,一个基于 RoboCasa365 的诊断性鲁棒性基准,结合受控单因素扰动、共享相同设置仅目标扰动不同的配对干净-扰动 rollout,以及仿真中的分阶段诊断。

    推荐理由:该预印本提出基于 RoboCasa365 的分阶段鲁棒性评测,用配对 rollout 揭示聚合成功率掩盖的执行差异。