2026 年 10 月 31 日 · 星期六
本期文章 41
Anchor-Align:通过表征锚定与语言动作对齐提升 VLA 微调泛化性
作者提出 Anchor-Align,在行为克隆微调 VLA 时加入视觉语言锚定与语言动作对齐两个目标,以缓解预训练表征被覆盖和语言动作错位问题。视觉语言锚定从冻结的 VLM 副本逐层蒸馏表征,语言动作对齐把每个动作目标转成离散运动方向标签,并在同一机器人观测上联合训练语言与动作预测。
研究:目标误泛化中策略对齐的三种失败深度
论文研究目标误泛化中目标信息在智能体内部丢失的深度,覆盖八个视觉导航与操作任务,包括机器人控制。
ActionUNet:用高效多尺度微调提升VLA模型鲁棒性
Di Zhu、Ziheng Yan、Fang Wan 提出 ActionUNet,一个在预训练 VLA 模型上做高效多尺度微调的框架,用于缓解粗粒度语义与细粒度时序执行之间的对齐问题。
GlanceWAM提出稀疏测试时想象的世界动作模型
Linhan Wang等人提出GlanceWAM,将视觉想象与控制解耦在同一个视频DiT主干上,由异步提议器在后台以慢时钟生成单帧前瞻画面,动作头在潜空间中按控制频率解码动作块,单块时延48 ms(A100)。
Ego-OSCAR:不到200美元的开源头戴立体视觉采集系统与550小时数据集
作者团队提出开源头戴采集系统 Ego-OSCAR,用不到200美元的通用零件与3D打印件搭建,将硬件同步全局快门立体相机与6轴IMU结合,并用微控制器把相机与惯性时钟域对齐到700微秒残差。
NTR:用神经 token 重建约束端到端驾驶的场景 token 瓶颈
NTR 提出神经 token 重建框架,用自蒸馏掩码隐特征重建目标直接约束无感知端到端驾驶中的紧凑场景 token 瓶颈,使重建梯度只经过该瓶颈。方法还引入基础模型标注得到的语义先验作为弱语义接口,推理时移除全部辅助重建组件,部署规划器保持不变。
CALM:多智能体强化学习实现无人机协同吊运分散式控制
作者提出 CALM(Cooperative Aerial Learned Manipulation),一种让多架无人机协同携带篮筐、跟踪移动地面机器人的分散式控制器。
WNM-3D:以3D场景条件驱动的闭环视觉语言导航世界模型
作者提出WNM-3D,一个面向连续视觉语言导航(VLN)的生成式世界导航模型,用冻结的前馈几何编码器从单目RGB历史提取跨视角表示,再经可训练的3D Scene-to-Token Adapter转为定长场景前缀,通过块因果注意力在联合去噪中持续提供给世界-动作Diffusion Transformer。
从生物曲线到模块化软体机器人:带不确定性引导修正的学习型逆向设计
该预印本提出一个 real-to-sim-to-real 框架,通过代理辅助逆向设计与不确定性引导修正,把生物曲线转成线驱动模块化软体机器人的构型。学习得到的前向代理模型把形变预测时间从 1.53×10^5 ms 降到 0.0008 ms,约 1.9×10^8 倍加速;逆向设计时间从 1.99×10^6 ms 降到 4.18 ms。
MoF:面向双臂移动操作的多框架动作去噪扩散策略
作者提出 Mixture of Frames Policy(MoF),一种在多个坐标框架间同步进行动作去噪的扩散策略,通过单一规范扩散状态、框架专用去噪器和噪声预测融合实现。
HumiMimic:从野外视频迁移人-人形机器人交互动作
作者提出 HumiTransfer 框架,将野外人人交互视频转换为物理合理的人-人形机器人交互动作,并据此构建 HumiMimic 数据集。该数据集覆盖 26 自由度 Unitree R1 Edu 与 23 自由度 HighTorque Mini-hi 两款机器人,由 1200 段视频生成约 50 万帧交互数据。
MOVER:从人类视频学习可泛化人形机器人搬运策略
研究提出 MOVER,一个多阶段 Teacher-Assistant-Student 强化学习框架,用于人形机器人物体搬运。该方法先用 GENMO 和 GMR 重定向视频数据并做数据增强,再分三阶段训练,最后用 Dagger-PPO 蒸馏去掉本体位置观测和参考关节位置,使部署策略依靠机载 RGB-D 相机感知物体位姿。
OmniDex发布260万杂乱场景数据集与灵巧抓取模型
OmniDex提出可扩展的seed-and-filter策略,构建了包含超260万场景和0.4B场景特定抓取真值的杂乱场景灵巧抓取基准。研究同时提出OmniDex模型,通过Soft Winner-Takes-All学习、类人物理约束训练和物理驱动排序,避免后优化延迟。实验称该模型在多样场景、视角和未见物体上取得state-of-the-art性能与较强泛化。
SALT:面向可靠视觉规划的状态仿射潜空间转移模型
作者提出 SALT(State-Affine Latent Transition),一种动作条件的状态仿射潜空间动力学模型,动作同时调制状态变换与加性更新,并以递归多步 rollout 监督训练。
研究团队用编码智能体学习并迁移闭环机器人软件
So Kuroki 等人在 arXiv 预印本中提出把完整闭环机器人实现当作可复用的执行经验,由编码智能体从少量成功演示生成策略代码,并用仿真反馈迭代改进。在 RoboCasa 的四个源任务上,成功率从初始生成代码的 28.3% 提升到验证筛选代码的 64.2%,该方法还在 Unitree G1 实机上做了验证。
双线性世界模型:以结构化动力学学习表征并实现高效控制
作者提出一种JEPA式世界模型,将潜动力学限制为双线性参数化,把建模负担转移到编码器,并结构化地保证动作可恢复性、避免表征坍缩。作者称一大类非线性动力系统经变换后可呈双线性形式,在标准2D和3D控制任务中,从高维观测直接学到的双线性动力学表征使规划时间缩短近三个数量级,同时保持或提升控制精度。
VLA-Corrector:面向自适应动作时域的轻量检测与纠正推理框架
作者提出VLA-Corrector,一个面向动作分块VLA策略的轻量纠正推理框架,在不修改主干策略权重的前提下检测视觉动态偏差并触发纠正重规划。该框架引入潜空间视觉监控器LVM,持续比较预测与实际视觉特征演化,一旦检测到持续偏差便截断剩余动作,并通过在线梯度引导OGG重新规划。
EgoHTR发布第一视角人体地形穿越4D演示数据集
EgoHTR数据集发布,用第一视角可穿戴设备与便携3D扫描仪采集了55段场景对齐的4D人体运动序列,覆盖多样复杂环境,共超过15万帧。作者称该数据在运动捕捉真值对比中达到当前先进精度,并据此训练感知式运动策略,在Unitree G1上完成重建参考动作的硬件部署。重建流程已开源,支持社区扩展数据集。
EAFG:用视觉证据门控 VLM 与 TAMP 的任务与运动规划
作者提出证据获取与可行性门控框架 EAFG,让 VLM 生成子目标、机器人执行 TAMP 规划的动作序列以获取视觉证据,再据此决定继续任务规划、继续获取证据还是停止。在三个烹饪场景(明确指定所需物体、指令欠明确、所需物体缺失)中,EAFG 在明确与欠明确场景下任务完成情况优于 VLM-TAMP 基线,并在所需物体缺失时能适当停止。该工作为 arXiv 预印本(arXiv:2608.20084)。
NovaSplat:用3D高斯泼溅引导与细化实现无模型6D物体位姿估计
NovaSplat提出一种无模型6D物体位姿估计流程,仅用引导阶段拍摄的短智能手机视频训练3D高斯泼溅模型,该模型既作为检测与粗位姿估计的模板来源,也作为位姿细化的可微主干。