2026 年 10 月
本期文章 343
FlowVLA:面向定量机器人倒水的流感知物理完成学习
FlowVLA 将动作生成与物理完成度估计分离,由共享的 π_{0.5} 动作专家在边界感知监督下学习接近、倾倒和返回,并用融合视觉、关节、腕部力与循环力信念历史的目标无关估计器维持转移质量估计,当估计值加预测残余流出量达到目标质量时触发返回。
Retiming Robot Demonstrations with a Learned Speed Prior:学习速度先验为机器人演示重定时
首尔大学团队提出从大规模演示数据学习速度先验,为机器人演示重定时。给定任务指令、运动路径及沿途图像,该先验预测路径上的执行速度分布,取选定分位数作为统一时钟;单个训练好的先验可覆盖语料库中所有任务,无需为每个新任务重新拟合或标注。
Natural-Language to Nav2:面向代价地图导航的自然语言策略接口
论文提出面向 ROS 2 Nav2 的自然语言策略接口,由本地大语言模型把操作员指令转成 JSON 策略,指定目的地、空间约束和时间或事件条件,再经确定性检查与三个代价地图适配器接入现有导航栈,不改动规划器与控制器。
Watch Your Step:用落脚点预测裁剪感知输入的人形机器人运动策略
arXiv 论文 Watch Your Step 提出预期感知方法,用轻量落脚点预测模型(FPM)仅凭本体感知和速度指令预测未来落脚点,再只在这些落脚点周围采样高程图小块,替代完整机器人中心高程图输入。
距离场驱动强化学习实现机械臂反应式避障
论文提出一种将欧氏距离场(EDF)直接纳入观测空间的强化学习框架,为智能体提供连续几何线索以支持稳定、反应式的避障行为。该方法在7自由度冗余机械臂上验证,实现了从仿真到真实硬件的零样本迁移;尽管训练仅使用随机静态物体,部署后的策略仍能泛化到此前未见的真实环境,并对动态障碍物表现出在线避障能力。作者认为,EDF表示有助于缓解仿真到现实的差距。
多视角潜动作预训练提升跨本体机器人学习
作者提出一种多视角潜动作模型(LAM),用交叉注意力融合同步多相机视角以消解深度与遮挡,再压缩为潜动作,并接入由潜专家与动作专家经顺序流匹配耦合、冻结VLM骨干的策略。
PRISM:以物理机制解耦深度噪声,提升仿真到现实迁移
PRISM 提出一种基于物理的深度噪声建模框架,将单一噪声解耦为传感失效与测量不准两类模态,并借助 3D 视觉基础模型特征做空间语义先验推理。作者称其在噪声深度合成基准上达到当前最优保真度,下游机器人实验在真实世界取得 92.1% 平均成功率,优于单一噪声建模基线。项目页面见 https://shawnleung-sii.github.io/prism-icml2026/。
PAL:先规划后执行的分层记忆框架用于机器人长程操作
PAL 是一个面向视觉语言机器人操作的分层记忆框架,用高层 VLM 把流式视觉观测转成可执行 subtask_list,执行时再选出当前子任务交给低层 VLA 策略。
T-WLA:用共享视觉记忆衔接慢视觉与快触觉的接触密集操作架构
T-WLA 提出一种世界-语言-动作架构,用共享视觉记忆同时指导动作生成与触觉修正。每次视觉更新时,视觉分支把当前图像、任务指令和检索到的历史整合为视觉记忆,用于生成基础动作;同一记忆被缓存给轻量触觉编辑器,结合当前动作块与触觉输入预测未执行动作的残差修正,无需重跑视觉分支。
RGF:用关系几何对齐改进世界动作模型的机器人操作
论文提出关系几何强制(RGF),通过对齐成对特征关系而非逐点特征,把冻结3D基础模型的几何先验迁移到世界动作模型(WAM)。作者发现逐点几何对齐虽改善视频特征却会损害动作学习,RGF 用帧内、跨视角和动作-时序三类关系目标,且仅在训练阶段使用,不增加几何分支或推理模块。仿真与实机实验显示,该方法在多种操作场景和 WAM 范式下取得一致提升。
SMR:从人类语义学习人形机器人流式运动重定向
SMR 提出一种流式神经运动重定向器,从语义条件物理专家学习,将人类运动转为人形机器人可执行的运动参考。方法先把人类运动转换为机器人感知的任务空间目标,由物理专家在仿真中于接触、动力学和执行器约束下跟踪,再用严格因果的 Transformer 学习其执行状态轨迹。
DepState-JEPA:以深度锚定状态表征的RGB-D联合嵌入预测架构
作者提出 DepState-JEPA,一种双流 RGB-D 联合嵌入预测架构,通过共享隐状态 DepState 把空间理解与动作条件预测连接起来。该框架基于 V-JEPA 2.1,将深度同时作为互补观测流并把两种模态锚定到度量三维空间,动作条件转移后由同一组解码器预测未来 RGB 与深度特征。
ViT-H:用运动跟踪反馈实现生成式视频到人形机器人控制
ViT-H 提出一种生成加跟踪的视频到人形机器人控制框架,用扩散模型直接从视频生成人形参考动作,绕过人体动作重建与重定向,并用运动跟踪结果以直接偏好优化后训练生成器。
研究:物理参数偏移下的因果世界模型
该预印本研究了物理条件偏离训练分布时世界模型预测精度下降的问题,区分了预测器可用哪些输入以及机制如何计算这些输入的影响两个层面。在带捷径特征的合成基准中,由配对干预得到的冻结依赖掩码把分布外 RMSE 从全连接预测器的 1.769 降至 0.697,接近生成器 oracle 掩码的 0.694。
HyperDrone:每秒数百万帧的四旋翼仿真到现实迁移
HyperDrone 是一个面向高性能批量渲染的四旋翼仿真器,作者称其速度超过现有先进批量四旋翼仿真器 20 倍以上。它结合优化的多旋翼动力学与光线追踪引擎 HyperLux,支持 Nvidia OptiX、Vulkan、Apple Metal 和 WebGPU 后端,可渲染 RGB、深度、语义/实例分割、表面法线和光流,并在消费级 GPU 上达到数百万帧每秒。
RoPT:面向视频的鲁棒6DoF物体位姿跟踪框架
RoPT 是一个面向视频的鲁棒 6DoF 物体位姿跟踪框架,作者称其把视觉感知、时序运动学与全局重定位耦合成闭环,以应对快速运动下的跟踪发散。视觉部分通过跟踪物体掩码处理部分和严重遮挡,运动学因子图则约束帧间更新、预测前向位姿并驱动多假设并行验证以避开局部极小。作者在多个挑战性基准和真实机器人演示中报告,快速运动下的跟踪存活率显著更高。
EchoNav:利用历史观测做证据式BEV补全的视觉导航框架
EchoNav提出一种从短RGB序列预测证据式鸟瞰图(BEV)表示的视觉导航框架,结合时序聚合与占据补全,在最新自车坐标系下生成局部地图,无需深度或相机位姿输入,也不做显式几何变换。
SLoSa:面向机器人任务规划的小尺寸低功耗安全基础模型
SLoSa 是一个神经符号压缩与微调框架,用于训练小尺寸、低功耗且具备安全意识的机器人任务规划基础模型。该框架先用经典规划器、教师大模型和形式化验证器构建安全数据集,再经监督微调与由验证奖励机引导的强化学习微调。
COWBOY:面向情境化全身操作的可扩展 sim-to-real 框架
COWBOY 是一个可扩展的 sim-to-real 框架,用于学习情境化全身操作,在全身灵巧抓取任务上零样本迁移到数百个物体和杂乱桌面、货架、抽屉等非结构化场景。
GGraph:面向机器人部署与学习的 GPU 加速图库开源发布
Yash Rampuria 等作者提出开源 GPU 加速图库 GGraph,同时支持真实机器人部署和大规模策略训练。GGraph 通过 ROS 2 接口接入真实机器人,并支持向量化 GPU 策略训练,内置 3-D 导航、探索和回环整合等任务。单机器人运行时图更新为毫秒级,规模化训练可跨数百个并行机器人,训练实际耗时降低一个数量级;结果来自仿真与真实世界实验。