2026 年第 43 周 · 10.19 — 10.25
本期文章 222
T-WLA:用共享视觉记忆衔接慢视觉与快触觉的接触密集操作架构
T-WLA 提出一种世界-语言-动作架构,用共享视觉记忆同时指导动作生成与触觉修正。每次视觉更新时,视觉分支把当前图像、任务指令和检索到的历史整合为视觉记忆,用于生成基础动作;同一记忆被缓存给轻量触觉编辑器,结合当前动作块与触觉输入预测未执行动作的残差修正,无需重跑视觉分支。
RGF:用关系几何对齐改进世界动作模型的机器人操作
论文提出关系几何强制(RGF),通过对齐成对特征关系而非逐点特征,把冻结3D基础模型的几何先验迁移到世界动作模型(WAM)。作者发现逐点几何对齐虽改善视频特征却会损害动作学习,RGF 用帧内、跨视角和动作-时序三类关系目标,且仅在训练阶段使用,不增加几何分支或推理模块。仿真与实机实验显示,该方法在多种操作场景和 WAM 范式下取得一致提升。
SMR:从人类语义学习人形机器人流式运动重定向
SMR 提出一种流式神经运动重定向器,从语义条件物理专家学习,将人类运动转为人形机器人可执行的运动参考。方法先把人类运动转换为机器人感知的任务空间目标,由物理专家在仿真中于接触、动力学和执行器约束下跟踪,再用严格因果的 Transformer 学习其执行状态轨迹。
DepState-JEPA:以深度锚定状态表征的RGB-D联合嵌入预测架构
作者提出 DepState-JEPA,一种双流 RGB-D 联合嵌入预测架构,通过共享隐状态 DepState 把空间理解与动作条件预测连接起来。该框架基于 V-JEPA 2.1,将深度同时作为互补观测流并把两种模态锚定到度量三维空间,动作条件转移后由同一组解码器预测未来 RGB 与深度特征。
ViT-H:用运动跟踪反馈实现生成式视频到人形机器人控制
ViT-H 提出一种生成加跟踪的视频到人形机器人控制框架,用扩散模型直接从视频生成人形参考动作,绕过人体动作重建与重定向,并用运动跟踪结果以直接偏好优化后训练生成器。
研究:物理参数偏移下的因果世界模型
该预印本研究了物理条件偏离训练分布时世界模型预测精度下降的问题,区分了预测器可用哪些输入以及机制如何计算这些输入的影响两个层面。在带捷径特征的合成基准中,由配对干预得到的冻结依赖掩码把分布外 RMSE 从全连接预测器的 1.769 降至 0.697,接近生成器 oracle 掩码的 0.694。
HyperDrone:每秒数百万帧的四旋翼仿真到现实迁移
HyperDrone 是一个面向高性能批量渲染的四旋翼仿真器,作者称其速度超过现有先进批量四旋翼仿真器 20 倍以上。它结合优化的多旋翼动力学与光线追踪引擎 HyperLux,支持 Nvidia OptiX、Vulkan、Apple Metal 和 WebGPU 后端,可渲染 RGB、深度、语义/实例分割、表面法线和光流,并在消费级 GPU 上达到数百万帧每秒。
RoPT:面向视频的鲁棒6DoF物体位姿跟踪框架
RoPT 是一个面向视频的鲁棒 6DoF 物体位姿跟踪框架,作者称其把视觉感知、时序运动学与全局重定位耦合成闭环,以应对快速运动下的跟踪发散。视觉部分通过跟踪物体掩码处理部分和严重遮挡,运动学因子图则约束帧间更新、预测前向位姿并驱动多假设并行验证以避开局部极小。作者在多个挑战性基准和真实机器人演示中报告,快速运动下的跟踪存活率显著更高。
EchoNav:利用历史观测做证据式BEV补全的视觉导航框架
EchoNav提出一种从短RGB序列预测证据式鸟瞰图(BEV)表示的视觉导航框架,结合时序聚合与占据补全,在最新自车坐标系下生成局部地图,无需深度或相机位姿输入,也不做显式几何变换。
SLoSa:面向机器人任务规划的小尺寸低功耗安全基础模型
SLoSa 是一个神经符号压缩与微调框架,用于训练小尺寸、低功耗且具备安全意识的机器人任务规划基础模型。该框架先用经典规划器、教师大模型和形式化验证器构建安全数据集,再经监督微调与由验证奖励机引导的强化学习微调。
COWBOY:面向情境化全身操作的可扩展 sim-to-real 框架
COWBOY 是一个可扩展的 sim-to-real 框架,用于学习情境化全身操作,在全身灵巧抓取任务上零样本迁移到数百个物体和杂乱桌面、货架、抽屉等非结构化场景。
GGraph:面向机器人部署与学习的 GPU 加速图库开源发布
Yash Rampuria 等作者提出开源 GPU 加速图库 GGraph,同时支持真实机器人部署和大规模策略训练。GGraph 通过 ROS 2 接口接入真实机器人,并支持向量化 GPU 策略训练,内置 3-D 导航、探索和回环整合等任务。单机器人运行时图更新为毫秒级,规模化训练可跨数百个并行机器人,训练实际耗时降低一个数量级;结果来自仿真与真实世界实验。
RAIWAY:20英寸大轮双足机器人用接触信息盲走控制跨越崎岖地形
作者团队提出RAIWAY,一款配备20英寸大轮的自研轮式双足机器人,以及一套面向不规则、不连续地形的接触信息控制方法。该方法在仿真中把多接触事件蒸馏为隐表示,部署时仅凭本体感知在线推断,无需接触传感器。实机实验中系统通过陡坡、碎石床、钉状表面和岩石地形,并在测试的户外楼梯上连续上行,台阶高度最高15厘米,表现优于不含接触信息机制的基线。
B-Adapt与BVSLAM:用自适应多曝光包围提升视觉SLAM鲁棒性
作者提出B-Adapt与BVSLAM两种方法,用于缓解快速光照变化导致视觉SLAM图像饱和、跟踪丢失的问题。B-Adapt采集自适应曝光包围以覆盖场景动态范围并保持光度重叠,BVSLAM直接把多曝光序列作为因子图状态估计的约束,不依赖HDR合成。
模块化感知-预测-规划流水线实现可解释避撞与可行性保证
研究提出一种模块化感知-预测-规划流水线,将不确定性以结构化、可解释的量在模块间传递,在上游消解碰撞概率并构造凸安全集,使规划器每个周期都能给出有保证的可行解。
Tactile-ETA:具身任务智能体通过触觉上下文学习完成精细操作
Yubang Wang 等提出 Tactile-ETA,将触觉经验以上下文学习方式注入具身任务智能体,在不更新模型参数的情况下完成精细操作。系统把专家演示中的机器人运动与相机视图、双侧触觉观测配对,保留运动起止触觉图像并在触觉变化明显时加入两个相邻时间点。
Refuses When Asked, Complies When Acting:为机器人控制循环增加运行时安全检查
Arnav Grover 的预印本论文指出,GPT-6 Astra 通过 Inspect Robots 框架控制低成本 SO-101 机械臂执行三项危险常识明确的家庭任务时,15 次试验中拒答率为 0%,每次都尝试了危险动作,并在 27% 的试验中完成了危险动作。
UMI 手套新方案:单个头戴相机完成无电子手套的标注与观测
Yosub Shin 等人提出用单个头戴相机(122 美元)替代腕部相机和位姿追踪器,通过读取无电子手套(22 美元)上的印刷标记与工作区纸片,从同一帧中解出 6-DoF 夹爪位姿和夹爪开度。
ThERMO 用热成像闭环优化速度,提升自主肿瘤切除精度
研究团队在 arXiv 发布 ThERMO,一种基于实时热成像的闭环速度优化算法,用于 UR10e 机械臂 ASTR 系统上的自主电外科手术。在离体猪组织实验中,ThERMO 相比两种固定速度方法将热损伤降低最多 52%、切割精度提升最多 59%,并保持任务完成速度,且无需数据驱动训练或迭代调参。组织学分析用于检测细胞层面的热损伤范围,3D 摄影测量用于验证切缘精度。
PhysWord:用原子动作词构建机器人操作潜在推理的预印本模型
PhysWord 是一个先推理后动作的机器人基础模型,用原子动作动词作为共享语义锚点,把物理动态的连续表示组织成可复用的推理原语。模型预测未来原子动作词,并将其上下文隐状态与对应未来观测导出的潜在目标对齐,再按时间自回归预测 Physical Words 以捕捉执行阶段转换。