2026 年 10 月
本期文章 343
研究团队用编码智能体学习并迁移闭环机器人软件
So Kuroki 等人在 arXiv 预印本中提出把完整闭环机器人实现当作可复用的执行经验,由编码智能体从少量成功演示生成策略代码,并用仿真反馈迭代改进。在 RoboCasa 的四个源任务上,成功率从初始生成代码的 28.3% 提升到验证筛选代码的 64.2%,该方法还在 Unitree G1 实机上做了验证。
RESPLE2:惯性先验递归非均匀样条多传感器里程计与全局优化
RESPLE2 提出一种基于非均匀 B 样条的递归多传感器状态估计框架,用于 6-DoF 运动表示。该方法利用样条节点夹持边界性质,由惯性运动学直接预测控制点,并在迭代扩展卡尔曼滤波中用部分惯性测量完成预测,更新步骤按原始时间戳融合 LiDAR、相机、IMU 与腿部运动学。
Tactus:面向自然灵巧操作数据采集的触觉与位姿传感手套
论文提出 Tactus,一款织物集成传感手套,同时提供指尖触觉力感知与抗遮挡手部位姿追踪,用于采集自然状态下的人手操作演示数据。其指尖堆叠厚度为 1.5 mm,在 95% 置信度下最小可检测力为 0.59 N,比两款商用触觉手套基线低 1.6 至 2.7 倍,跨参与者一致性为 0.87;操作过程中遮挡最严重时指尖关键点相对误差为 11.0 mm。
双线性世界模型:以结构化动力学学习表征并实现高效控制
作者提出一种JEPA式世界模型,将潜动力学限制为双线性参数化,把建模负担转移到编码器,并结构化地保证动作可恢复性、避免表征坍缩。作者称一大类非线性动力系统经变换后可呈双线性形式,在标准2D和3D控制任务中,从高维观测直接学到的双线性动力学表征使规划时间缩短近三个数量级,同时保持或提升控制精度。
StabBot 用学习立体视觉与残差强化学习实现机器人管道对扣
StabBot 机器人管道对扣系统结合摆锤卡尔曼滤波、ResNet-18 关键点网络与残差强化学习策略,在 200 组随机作业中全部完成对扣,传统固定导向器为 74%。
研究用强化学习实现固定翼无人机自主拦截
一项预印本研究提出用强化学习训练的神经网络控制固定翼拦截机,将滤波后的单目视觉观测直接映射为执行器指令。策略在自建 Python 环境中用近端策略优化训练,随后部署到固定翼平台并在真实拦截场景中测试;仿真中该策略在多数条件下优于两个经典制导控制器,实机中成功拦截了机动的固定翼目标。
VLA-Corrector:面向自适应动作时域的轻量检测与纠正推理框架
作者提出VLA-Corrector,一个面向动作分块VLA策略的轻量纠正推理框架,在不修改主干策略权重的前提下检测视觉动态偏差并触发纠正重规划。该框架引入潜空间视觉监控器LVM,持续比较预测与实际视觉特征演化,一旦检测到持续偏差便截断剩余动作,并通过在线梯度引导OGG重新规划。
Data Inoculation:用残差策略扰动遥操作指令的机器人数据采集框架
Qiyang Li、Sergey Levine 等提出 Data Inoculation(DI),一种共享控制数据采集框架:人类提供闭环遥操作指令,残差策略在线训练并扰动这些指令,使机器人接触更广的状态范围,人类的持续纠正则提供恢复演示。作者称在三个真实机器人任务上,DI 的成功率持续优于或持平行为克隆与离线 RL 训练的策略。论文为预印本,未给出任务细节与成功率分母。
EgoContact:用第一视角视频评估物理智能的接触点预测数据集
EgoContact 是一个大规模第一视角数据集,用于通过未来接触点预测评估学习到的操作先验的泛化性与精度,包含 22.5K 条人工核验的交互事件,每条含接触前观测、语义意图和像素级接触位置。
EgoHTR发布第一视角人体地形穿越4D演示数据集
EgoHTR数据集发布,用第一视角可穿戴设备与便携3D扫描仪采集了55段场景对齐的4D人体运动序列,覆盖多样复杂环境,共超过15万帧。作者称该数据在运动捕捉真值对比中达到当前先进精度,并据此训练感知式运动策略,在Unitree G1上完成重建参考动作的硬件部署。重建流程已开源,支持社区扩展数据集。
研究用IMU与执行器反馈实现封闭空间连续体机器人形状闭环控制
Jiahe Wang等提出一种嵌入式形状感知框架,用IMU与执行器反馈经神经网络重建连续体机器人形状,以400 Hz提供形状反馈用于物理闭环控制。在一段与三段连续体机器人上训练超过5000个模型后,所选框架的全局形状误差分别为0.9%L和1.7%L;闭环控制中一段末端跟踪误差为6.1%L,三段形状控制全局误差为2.3%L,而使用相同未补偿测量的IMU-PCC重建则失败。
WorldFlow:大规模预训练联合预测视频与3D运动
WorldFlow 提出一种生成式世界模型,通过将3D运动参数化为与视频网格对齐的连续位移 token,用统一的 Mixture-of-Transformers 骨干在 rectified-flow 目标下同时去噪视频与基于查询的3D轨迹。
EAFG:用视觉证据门控 VLM 与 TAMP 的任务与运动规划
作者提出证据获取与可行性门控框架 EAFG,让 VLM 生成子目标、机器人执行 TAMP 规划的动作序列以获取视觉证据,再据此决定继续任务规划、继续获取证据还是停止。在三个烹饪场景(明确指定所需物体、指令欠明确、所需物体缺失)中,EAFG 在明确与欠明确场景下任务完成情况优于 VLM-TAMP 基线,并在所需物体缺失时能适当停止。该工作为 arXiv 预印本(arXiv:2608.20084)。
ReSTEP数据集与REMORA模型:面向长程机器人任务的进度跟踪基准
作者开源ReSTEP数据集,包含两个操作任务的3156条轨迹,带语义阶段标签和帧级错误标注,覆盖成功执行、失误与恢复过程。基于该数据集,作者提出在线进度估计器REMORA,结合循环视觉记忆、分布预测和因果峰值选择来跟踪任务进度。在两个ReSTEP任务上的实验显示,REMORA在进度准确率和时间一致性上优于SARM基线。
GPL:为视觉-语言-动作模型引入生成式计划隐变量
作者提出生成式计划隐变量(GPL),把VLA的推理状态表示为对计划(如选哪个物体、抓取或路线)的低维条件分布,使计划可采样、可按请求选择、可按部署结果重加权,且无需重新训练VLA。
SPAR:用搜索训练推挤动作排序器,加速可移动障碍物导航
作者提出 SPAR(Search-trained Push Action Ranker),从仿真搜索结果中学习为推挤基元排序,用于可移动障碍物导航(NAMO)。
Kinematic-Tactile Aligned Dexterous Retargeting with Contact Wrench Space Alignment:基于接触力旋量空间对齐的运动学-触觉灵巧重定向
Xinyuan He 等提出一个分层三阶段框架,用于运动学与触觉对齐的灵巧手重定向,以物体为中心的接触力旋量空间作为人手与机械手之间的触觉对齐物理表示。框架先对齐手部运动学与接触几何,再根据触觉力与接触几何构建人手力旋量支撑剖面,随后优化机器人指尖力目标以覆盖该支撑并转换为关节位置修正,得到可直接回放的机械手轨迹。
研究揭示驾驶 VLA 的感知-动作绑定缺口,并提出冻结采样器引导修复
研究指出,推理增强的驾驶 VLA 能感知并推理安全关键危险,却未能把危险信息转化为安全动作,作者将这一现象称为感知-动作绑定缺口。基于匹配的仿真反事实和驾驶日志回放,研究发现路径内危险确实被编码进视觉表征,但纵向规划主要由自车速度历史主导,对危险距离和模型自身推理轨迹响应很弱。
OpenFlyV2:面向空中感知与导航的机载视觉-语言-动作模型
OpenFlyV2 是一个统一的机载视觉-语言-动作架构,用共享视觉-语言表征在单一模型中支持语义理解、语言定位感知、空间推理与连续空中控制。紧凑动作专家将多模态上下文转为短时域航点,运动感知时序记忆与动作先验降低闭环执行计算开销;作者构建约 7 万条导航轨迹和 6 万对视觉-语言指令-响应的仿真数据集。
Surrogate Uncertainty:用外部代理模型估计黑盒VLM视觉定位不确定性
论文提出 Surrogate Uncertainty 方法,用外部代理贝叶斯模型估计黑盒视觉语言模型在视觉定位中的逐查询不确定性,并分解为偶然与认知两部分。该方法通过跨输入模态的分层检索构建紧凑联合空间邻域,可结合保形预测或基于模型的规划实现主动视觉定位。作者称在多个定位基准和先进VLM上校准与任务表现均有提升,并在真实 Fetch 机器人上按开放世界指令在自信行动与信息收集间做取舍。