2026 年 10 月 29 日 · 星期四
本期文章 29
SaiVLA-JEPA 评估 JEPA 条件 VLA 控制中的未来潜表征预测
SaiVLA-JEPA 研究在 VLA 策略已使用 V-JEPA 特征时,加入未来表征预测目标能否改善闭环控制。该策略结合视觉语言模型与扩散 transformer 动作专家,接收冻结 V-JEPA 编码器特征,两个轻量辅助头仅在训练时预测未来表征、推理时移除。
8B导航系统该记住什么?面向零样本视觉语言导航的时空记忆
研究提出一种8B规模的零样本视觉语言导航系统,把指令进度、按位姿锚定的分层压缩观测历史和累积几何分别组织为任务、时序与空间记忆,由8B观察器总结观测、8B推理器选择路点意图或请求新视角,几何控制器执行目标。
约束感知强化学习实现力驱动钩型连接拆卸
该研究提出约束感知强化学习框架,从接触力在线推断可行的拆卸方向,并在机器人无关的物体中心仿真中训练后零样本部署到实机。策略结合粒子滤波信念提供时序积分方向信息,减少冗余探索动作。在四类真实任务上,从销孔对到报废空调内风机与前盖,成功率分别为100%、100%、90%和75%,且每项任务路径效率最高;空调前盖成功率相比无信念策略从45%提升到75%。
SkelGG-CNN:骨架引导的机器人抓取自动标注,从4-DoF学习到6-DoF执行
研究提出基于直线骨架的自动标注算法,可在无人工干预下生成双指抓取关键点并标出适合稳定抓取的区域,同时提出学习几何抓取特征的4-DoF网络SkelGG-CNN。
SpaceAct:用闭环动作与主动感知评测3D时空推理的基准
SpaceAct 是一个通过闭环物理动作和主动感知评测3D时空推理的交互式基准,配套 SAPA 时空主动探测智能体框架。它基于积木与机械谜题构建,覆盖六类36个任务族共108个已验证实例,不提供特权坐标,并设有 +plan、+state、no-camera、blind、L7 levers 等诊断模式。
Embodied at Sea:面向水下多任务操作的模仿学习研究
研究团队在平静与湍流水域采集 1616 条水下操作数据,训练 14 个不同本体感知配置的通用 VLA 模型 DynamicVLA,并在泳池 1260 次可评分实机 rollout 中测试三个任务,其中 10 个模型超过基线,最佳模型总体成功率为 93.3%(含部分成功)。
SKiD-SLAM:面向行星任务的资源感知分布式多机器人激光SLAM及野外部署
SKiD-SLAM 是一套面向行星探测的分布式多机器人激光SLAM系统,研究团队在韩国完成两次野外部署验证。轮式漫游车在济州岛万丈熔岩管洞穴探索,四足机器人在涟川KICT的行星模拟地形执行陨石坑与岩石科学场景,两次部署均在250 kbps机器人间通信预算内完成分布式多机器人激光SLAM。
ELEVATE:从任务失败中自动获取四足机器人操作控制器
ELEVATE 框架利用任务程序迭代中的持续失败识别缺失的全身控制能力,由编码智能体构建并迭代强化学习问题,验证后的控制器加入能力库并与已有控制器组合重试任务。
SimRetract 实现开放手术牵开器交接的零样本仿真到现实迁移
SimRetract 提出面向开放手术中医师与机器人协作的零样本仿真到现实迁移方法,机器人从医师手中接过牵开器并在交接时保持牵拉,策略仅用仿真演示训练,无需人类演示或真实环境微调。
HERON:面向移动操作机器人的实时障碍感知可达图
HERON 提出用 3D U-Net 从实时深度相机预测障碍感知可达图,在 Jetson AGX Orin 上以 TensorRT 和 INT8 量化部署,预测机械臂周围 2.56 米立方体区域的可达图平均耗时 115 毫秒,系统速率 8.57 Hz,接近障碍地图 10 Hz 的更新频率。
TERRA:面向漫游车部署适应的定向探索框架
论文提出 TERRA(Targeted Exploration for Reward-Relevant Adaptation)在线适应框架,用奖励加权预测损失修正仿真训练的世界模型,并训练损失预测器估计未来与性能相关的误差位置,以此在 MPC 中引导探索。
Data Inoculation:用残差策略扰动遥操作指令提升机器人数据覆盖度
论文提出 Data Inoculation(DI)共享控制框架,由人类提供闭环遥操作指令、残差策略在线扰动这些指令,从而在数据采集中覆盖更广状态并留下人类的纠正演示。残差策略在持续增长的数据集上在线训练,目标与后续策略提取一致,使扰动偏向该策略可能出现的偏差。在三个真实机器人任务上,DI 的成功率与行为克隆和离线 RL 训练的策略持平或更优。
研究用IMU与执行器反馈在封闭空间内控制连续体机器人形状
一项预印本研究提出嵌入式形状感知框架,用IMU与执行器反馈经神经网络重建连续体机器人形状,以400 Hz提供形状反馈用于物理闭环控制。作者在一段与三段连续体机器人上训练超过5000个模型,比较形状状态表示、网络架构、训练目标和传感输入四项设计选择,选定框架的全局形状误差分别为0.9%L和1.7%L。
基于可微仿真的事件相机四旋翼避障策略学习
研究提出一种基于CUDA的事件相机仿真器,在训练循环内高效渲染事件,并接入可微仿真管线,使梯度可直接通过可微物理模型反传,从而端到端训练从事件帧直接映射到控制指令的策略,无需中间深度估计。作者在四旋翼上完成零样本实机部署,在有里程计辅助和无里程计两种设置下均实现避障,并覆盖传统相机通常失效的低光条件。
Catch It All!:灵巧手可泛化动态抓取框架
论文提出 Catch It All!,一个面向人形机器人的仿真到现实动态抓取框架,仅用单个第一视角相机即可完成上手与下手抓取。作者通过抓取奖励设计学习可实时适应物体位姿与形状的抓取策略,并设计安全感知课程以支持接近硬件极限的高频动作执行,包括低至 5 Nm 的腕部力矩限制。
MATCH:面向连续环境视觉语言导航的执行感知分层强化学习框架
MATCH 是一个联合学习语言条件规划器与目标条件原子动作执行器的分层强化学习框架,用于连续环境下的视觉语言导航(VLN-CE)。它用执行感知拓扑图表示依赖起点的执行选项,并把执行器价值估计与已实现结果记忆结合,让规划器选择执行请求并通过有界连续偏移修正目标。
QbD-VLA:以任务成功率引导 VLA 模型混合精度量化
QbD-VLA 提出一种任务引导的混合精度量化方法,用短闭环评估的任务成功率来分配 VLA 模型的权重与激活位宽,并考虑各组件之间的相互影响。在四个 VLA 模型和 LIBERO 全部四个套件上,权重平均约 4 bit、激活少于 6 bit 时仍保持较强任务表现;在 SIMPLER 上相对均匀量化的提升较小。
CSO:通过技能分布对齐与技能粒度优化改进机器人策略
研究提出两阶段后训练框架 CSO(Cascaded Skills Optimization),用于修正 VQ-VAE 类离散技能先验的量化误差。第一阶段用拒绝采样监督微调,将观测到技能的映射对齐到成功在线轨迹分布;第二阶段冻结观测编码器,按完整技能计算独立裁剪的重要性比率进行策略优化。