2026 年 11 月 4 日 · 星期三
本期文章 114
ActionFlow：面向边缘 VLA 模型的流水线动作加速框架
ActionFlow 是面向资源受限边缘平台的系统级推理框架，用于缓解 VLA 模型在真实动态环境中的高推理延迟。研究指出，平滑机器人交互需要 20-30 Hz 控制频率，而现有 VLA 模型在边缘设备上通常只有 3-5 Hz，原因是自回归解码受内存带宽限制，已有优化往往需要大量重训练或牺牲精度。ActionFlow 的核心是跨请求流水线策略，把 VLA 推理重构为微请求的宏流水线，将内存受限的 Decode 阶段与计算受限的 Prefill 阶段跨连续时间步批处理，并配套跨请求状态打包前向算子和统一 KV 环形缓冲区。
DiffContact：用于策略学习与接触隐式轨迹优化的可微接触动力学
DiffContact 提出一种面向摩擦接触的平滑解析梯度，仅在后向传播中替换精确接触灵敏度，前向硬接触求解与实机 rollout 保持不变。该方法对 de Saxcé 修正的 Coulomb 摩擦二阶锥互补问题做中心路径松弛，使灵敏度在接触模式切换时保持连续，并随松弛消失收敛到精确灵敏度。策略学习使用 10 万样本、在台式机上训练不到 2 分钟，所得策略无需微调即可迁移到硬件；实机上采用 trotting 策略的机器人可承受推力并穿越碎石和湿滑地面。
CoSMO：面向开放世界安全机器人导航的共形语义地图
CoSMO 提出一种语义安全地图框架，将视觉语言模型嵌入转换为在线校准的覆盖集与安全感知障碍膨胀，以应对分布偏移。作者指出视觉语言模型置信度校准较差，而现有共形预测方法假设固定标签集与平稳数据，因此直接在嵌入空间校准，避免词表扩展时的分数重缩放。在 Matterport3D 数据集上，CoSMO 相对仅几何基线将语义碰撞减少 61.6%，并在专家反馈延迟时仍保持形式化覆盖保证；四足机器人实机实验达到 90.73% 的长期经验覆盖率，目标为 90%。论文被 CoRL 2026 接收。
Tactile MNIST：面向主动触觉感知的开源基准套件
作者提出 Tactile MNIST Benchmark Suite，一个兼容 Gymnasium 的开源基准，用于分类、定位、位姿估计和体积估计等主动触觉感知任务。该套件提供从简单玩具环境到基于视觉触觉传感器的多种仿真场景，并配套 13,580 个合成 3D MNIST 数字模型和从 600 个 3D 打印数字采集的 153,600 个真实触觉样本。作者用该数据集训练 CycleGAN 做逼真触觉仿真渲染，希望以标准化协议和可复现评测框架推动触觉感知与主动感知研究。该工作为 arXiv 预印本。
H-JEPA：面向视觉规划的分层世界模型端到端学习方法
H-JEPA 提出一种端到端训练分层动作条件 JEPA 世界模型的方法，每一层在各自学到的潜空间中预测更远的未来，规划自上而下进行，高层优化目标进展，其预测成为下层的子目标。在四个仿真导航与操作环境中，分层规划优于扁平 JEPA；在 Visual AntMaze 上，三层结构将成功率从 18% 提升到 73%，且规划算力更少。消融实验将收益归因于时间分解与高层目标表示；借助逆动力学监督，该方法扩展到 DROID 的真实机器人视频，分层在更低规划算力下提升离线规划保真度。
MOPS-PRM：场景图下考虑多目标感知约束的采样运动规划
论文提出 MOPS-PRM，一种基于路线图的运动规划器，将观测多个物体或人的感知代价直接嵌入高自由度机器人的运动规划。现有感知感知方法多面向低自由度系统或只考虑单个物体，作者用场景图表示环境，把每个物体的感知代价嵌入场景图，并据此选择性采样构型来构建路线图，从而隐式满足感知约束。方法在仿真和真实实验中得到验证，相比其他感知约束基线，平均检测物体数提升约36%，跟踪率提升约17%，规划时间和路径长度相当。论文共8页、5图，已被 R-AL 接收。
DiffGIPC：GPU上可微混合坐标接触力学框架
DiffGIPC 是面向相互作用的可变形体与近刚体优化的 GPU 加速可微 IPC 框架。作者指出，基于惩罚或速度级约束的可微方法可能允许穿透或位置漂移，而全空间有限元实现下的 IPC 反复前向与反向计算成本高，尤其近刚部件保留大量顶点自由度时。该框架用仿射体导数支持静止形状设计、初始状态优化与关节控制，每个仿射体仅保留 12 个运动自由度，并在每帧一个耦合的 FEM-仿射伴随系统中保留碰撞与摩擦交互，从而缩小反向系统规模。
OmniGuide：用通用空间引导场增强通用机器人策略
OmniGuide 提出一种灵活框架，通过引入任意来源的引导来提升视觉-语言-动作（VLA）模型在复杂空间或语义理解、杂乱环境操作和精细操作等任务上的表现。该方法把 3D 基础模型、语义推理 VLM 和人体姿态模型等多种引导表达为位于 3D 空间、带任务特定吸引子与排斥子的可微能量函数，用以影响 VLA 动作采样，从而让互补的引导来源共同改善策略。仿真与真实环境实验显示，该框架在成功率与安全率上显著提升 π0.5、GR00T N1.6 等通用策略，并在统一框架下达到或超过此前针对特定引导来源设计的方法。论文已被 CoRL 2026 接收。
LangMap：面向分层开放词汇目标导航的人工核验基准
作者提出 HieraNav 开放词汇导航任务，目标分为场景、房间、区域、实例四个语义层级，并构建 LangMap 基准，在 HM3D 真实室内 3D 扫描上加入人工核验的语义标注，覆盖 414 个物体类别、超过 18K 个任务。标注采用对比式协议比较同场景区域与实例，每个目标配有简洁和详细两种描述；作者称其描述在全部共享标注实例上使文本到视图匹配准确率比 GOAT-Bench 高 23 个百分点，独立人工审核得到 92.5% 的唯一且正确匹配。
TAMPAgent：面向移动操作的智能体信念空间规划框架
TAMPAgent 是一个将大型视觉语言模型（LVLM）推理与任务与运动规划（TAMP）系统结构化约束满足相结合的智能体规划框架，用于部分可观测的开放世界移动操作。作者为 LVLM 智能体配备一个信念空间规划模型，该模型运行在可扩展的感知、规划与控制工具 API 之上：智能体先给出由参数化观察与执行动作组成的部分任务计划，再由经典搜索算法补全；提取计划的几何约束后，智能体通过工具 API 绑定有效参数值，生成可执行运动计划，并在执行中持续更新信念历史、交替观察与操作形成闭环。
ArthroCut：膝关节置换机器人骨切除的自主策略学习框架
ArthroCut 是一个面向膝关节置换手术机器人的自主策略学习框架，目标是把机器人从辅助执行升级为具备情境感知的动作生成。研究团队自建时间同步多模态数据集，覆盖 21 个完整病例、23,205 对 RGB-D 数据，融合术前 CT/MR、术中 NDI 骨骼与末端执行器跟踪、RGB-D 手术视频、机器人状态和文本意图，并在 Qwen-VL 骨干上微调。方法使用两类 token：术前影像 token（PIT）编码患者解剖与计划切除平面，时间对齐手术 token（TAST）融合实时视觉、几何与运动学证据，在语法与安全约束解码下输出可解释动作语法。
UA-Depth：面向材质无关物体操作的不确定性感知深度修复
UA-Depth 是一个不确定性感知的深度修复框架，通过迭代联合优化深度与像素级不确定性，并用不确定性门控特征抑制不可靠线索。该方法以冻结的深度基础模型作为先验初始化缺失或不可靠深度，并采用两阶段 MAD 加权对数深度尺度归一化，降低相对深度到度量深度对齐中的离群偏差。作者构建了覆盖多场景、多材质、多传感器的八数据集零样本基准，UA-Depth 在代表性基线中取得最佳平均排名，在透明与反光物体为主的数据集上提升尤为明显。论文还利用预测的不确定性，在类别级 6D 位姿估计和 6D 抓取合成上展示了下游改进。代码、模型及训练评估数据将在论文发表后发布，当前为审稿中的预印本。
Beyond Validation Loss：机器人策略预训练中的覆盖度与可靠性动态
该预印本论文研究机器人策略预训练阶段的评估问题，指出验证损失和平均任务成功率无法完整反映哪些策略既适合直接部署、又适合后续后训练。作者提出闭环 pass@k 指标，用同一初始条件下 k 次 rollout 至少成功一次的概率来衡量策略：pass@1 即平均任务成功率，大 k 的 pass@k 则反映重复采样下成功是否仍可达。实验显示，在多种后训练方案下，大 k 的 pass@k 能揭示 pass@1 未体现的后训练差异，pass@1 相近但大 k pass@k 不同的检查点后训练表现也不同；监督预训练过程中 pass@k 在不同检查点达到峰值，呈现覆盖度与可靠性的权衡。
Pixel-UMI：从传感器化人类演示学习环境感知全身操作策略
Pixel-UMI 提出一套从传感器化人类演示学习环境感知全身操作策略的流程，用于缓解人机本体差异带来的策略学习困难。方法包含三部分：环境感知重定向（EAR）结合重建场景几何与演示中的头部和夹爪轨迹，确定机器人姿态并生成避碰的关节与基座目标；重定向误差感知掩码（REAM）利用训练中的残余位姿误差，降低部署时对不匹配视角的依赖；并通过 DAgger 收集在策略人类纠正，弥补估计动作对接触丰富交互的不足。作者在关节物体操作、可变形物体处理、受限空间到达、全身避障和接触丰富双臂协调五类任务上评估，平均任务进度为 87.0%。
研究指出直线基线在Sintel上ATE低于11个模型中的10个，并提出姿态锚定ATE
该论文审计短片段相机位姿评测中的绝对轨迹误差（ATE）。在常用的Sintel协议下，一条不使用任何图像的匀速直线，其平均ATE低于用官方代码重跑的11个近期模型中的10个。作者指出ATE对齐的两个性质解释了这一现象：一是它把任意匀速预测映射到真实路径的最佳拟合直线上，使直线只得到路径的回归残差，残差信噪比（SNR）准则能预测何时把预测移向匀速拟合会降低ATE，该准则在1056个模型-片段对中给出95%的结果、792个留出对中98%、1034个ScanNet对中97%。
研究：机器人惯性与物体不匹配如何影响策略学习
一项 arXiv 预印本研究通过改变机器人与物体质量的受控仿真实验，考察接触时的惯性不匹配如何影响机器人策略学习。结果显示强化学习在较广的质量组合范围内都能成功，而行为克隆在较轻机器人操作较重物体时学到的策略更可靠，增加数据能缩小差距但无法消除。行为克隆在电机齿轮传动使惯性增大、重量不变的仿真机械臂上同样出现性能下降。作者还探索在不更换硬件的前提下降低接触惯性的两种做法，即采集数据前选择低惯性工作空间，或引导示教者采用低惯性任务解法，两种仿真情形下低惯性示教都被更可靠地模仿。论文共 9 页、17 幅图。
Pixel：面向通用移动操作学习的全栈协同设计机器人系统
作者提出 Pixel，一套为学习通用移动操作而协同设计的全栈机器人系统，整合了低成本轮式人形硬件、多种遥操作与无机器人人体数据采集接口、统一全身控制器，以及跨人类与机器人演示的通用策略学习流程。系统采用分层学习栈，支持语言条件视觉运动控制和长程任务执行。作者在硬件、数据采集与策略学习三方面进行评估，展示了需要灵巧性、主动感知、导航与全身协调的移动操作行为，并希望 Pixel 成为研究硬件、数据、控制与学习协同设计的基础。该文为 arXiv 预印本，尚未经同行评议。
血管内神经介入的临床医生与AI协作：机器人导航Copilot辅助模式的体外用户研究
研究提出Copilot Assistance Modes（CAMs）框架，覆盖从手动操作到完全自主的机器人血管内导航自主谱系，并在患者特异性血管体模中开展首个比较临床医生与AI协作策略的体外用户研究，11名专家和2名学生评估了六种导航模式，结合客观性能指标与工作负荷、可用性等主观评估，另在仿真和体外评估自主性能以考察sim-to-real迁移。手动导航整体表现最强，成功率100%；完全自主导航在仿真中成功率81%，体外降至23%；多种临床医生与AI共享自主模式成功率达92-97%，约为完全自主的四倍，与直接机器人控制（95%）相当，表明临床医生与AI协作可缓解sim-to-real域偏移。
ForceLDM：面向接触密集操作的力感知潜在动力学模型
ForceLDM 是一个力感知潜在动力学模型，通过学习未来接触与运动动力学来引导动作生成，用于接触密集的机器人操作。作者指出仅靠视觉的策略难以推断接触状态与交互力，而现有引入力或触觉信号的方法多将其当作辅助观测，未充分利用其在未来交互动力学建模中的作用。ForceLDM 不直接预测未来观测，而是用带特权未来力/力矩与光流信号的教师网络提取未来动态特征，再蒸馏到仅用当前观测训练的学生网络，使部署时无需未来传感输入即可推理即将发生的接触与物理动态；同时引入课程式渐进噪声注入策略以缓解对教师特征的过度依赖。
VLALagBench：VLA推理延迟何时影响任务成功率
作者提出VLALagBench基准，用于研究VLA推理延迟在不同任务类型、物体速度、同步与异步执行模式及不同VLA策略下的敏感度。结果显示，仅100毫秒的推理延迟就可能使移动目标上的任务成功率接近减半，敏感度随任务和策略差异明显，反映任务对精度和连续运动的不同要求。异步执行通过将推理与动作执行重叠，可挽回部分损失的成功率，但需要更频繁的推理请求。作者据此构建经验模型，用少量校准数据预测任务成功率，在各VLA策略上均方根预测误差为5.7%至7.8%，可依据推理系统延迟与单机器人吞吐量指导VLA算法配置选择。代码将发布。