VeSTA:弥合视觉语言导航中的物理可执行性差距
Gang He 等人在 arXiv 预印本中提出 VeSTA 框架,用于弥合连续视觉语言导航中语义能力与物理可执行性之间的差距。作者指出当前仿真器的宽松接触模型可能掩盖物理不可行动作,使到达成功率不能反映真实执行能力。
推荐理由:论文指出宽松接触模型会掩盖物理不可行动作,并给出对齐可执行轨迹的方法,可供评估VLN策略的仿真与实机差距参考。
技术方向
与机器人感知、决策和物理交互直接相关的感知与规划进展
149 条精选近 30 天 148 条共收录 399 条
Gang He 等人在 arXiv 预印本中提出 VeSTA 框架,用于弥合连续视觉语言导航中语义能力与物理可执行性之间的差距。作者指出当前仿真器的宽松接触模型可能掩盖物理不可行动作,使到达成功率不能反映真实执行能力。
推荐理由:论文指出宽松接触模型会掩盖物理不可行动作,并给出对齐可执行轨迹的方法,可供评估VLN策略的仿真与实机差距参考。
香港大学团队提出SpaRV,一种由可微光线步进渲染的稀疏辐射体素地图,让不规则LiDAR扫描与图像共同监督建图。该方法用LiDAR深度和占据约束几何,并通过交替训练地图与光度优化相机位姿和焦距来修正相机误差;训练和渲染时仅保留一个全分辨率子图、其余用更粗八叉树层级以限制GPU显存。
推荐理由:论文用稀疏辐射体素让不规则LiDAR扫描与图像共同约束建图,并交替优化相机位姿与焦距,为机器人场景重建提供可迁移思路。
Behnam Moradi 提出 Self-Crystallizing Behavior Trees(SCBT),把基础模型当作编译器而非运行时,在行为树节点失败时由 LLM 提出最小子树补丁,经 CMA-ES 调参、上下文赌博机决定是否调用 LLM,并通过静态检查、不变量监控回放和相对未修补树的经验余量三阶段准入。
推荐理由:论文把大模型推理编译成确定性行为树,并给出仿真中的调用次数与任务成功率对比,可了解基础模型与经典控制结合的一种路径。
Jiaxi Jiang 等提出 HumanoidPose 框架,把视觉当作本体感知,仅从视频恢复人形机器人在世界空间中的全身关节配置。该方法将预训练人体姿态特征与机器人运动学结合,并把人体动作重定向到十六种人形机器人本体,从而完全用合成数据学习;还通过自训练利用无标注在线视频训练 2D 机器人姿态检测器。
推荐理由:论文提出仅凭视频恢复人形机器人全身关节配置的框架,并在三个真实平台上与基线比较误差。
GOFusion 是一个面向自主机器人导航的实时视觉建图系统,将高斯图元锚定到局部占据地图,同时为路径规划提供空间感知和高保真外观。系统基于视觉-惯性 SLAM 的位姿估计与局部占据地图构建 3D 高斯地图,并把 3D Gaussian Splatting 优化限制在活跃子图内以约束 GPU 显存占用。
推荐理由:论文把高斯图元锚定到局部占据地图,并用在线Fisher近似驱动剪枝与下一最佳视角规划,可供自主导航与建图研究参考。
LENS 是部署在 AMD KR260 上的边缘场景记忆加速系统,将 ACEsplat 式场景坐标回归与 3DGS 渲染搬到低功耗 FPGA/ARM 平台。
推荐理由:论文把 SCR 定位与 3DGS 渲染搬到低功耗 FPGA,并给出板级实测的时延、功耗与画质对比,可作为边缘部署的参考。
针对 LeWM 等潜世界模型用欧氏距离搜索动作序列的做法,作者发现该假设只在目标附近成立,远处 L2 代价会形成虚假低代价盆地困住规划器。作者据此提出 Neighborhood Graph Cost(NGC),在训练潜变量构建的互近邻图上计算最短路径距离,只改终端代价且无需重训。
推荐理由:研究指出 LeWM 的欧氏终端代价只在目标附近成立,提出沿潜流形测距的 NGC 方法,为潜空间世界模型的规划代价设计提供可迁移思路。
DreamCan 提出一种分层策略,用预训练视频模型改造的高层规划器生成稀疏视觉子目标,再由低层视觉运动策略执行,从而把视频模型的可执行性约束进规划。作者从无动作的离线机器人视频中估计子目标的可达性与任务效用,并用动态规划自动选取子目标序列,无需人工标注。
推荐理由:论文提出用稀疏视觉子目标替代稠密视频预测的分层策略,并在 LIBERO-Long 与真实双臂任务上给出对比结果。

NVIDIA 在 ROSCon 多伦多站发布 Isaac ROS 5.0,这是一组基于 ROS 的 GPU 加速软件包,新增面向 AI 智能体的开发工作流与平台支持。
推荐理由:Isaac ROS 5.0 的更新清单和多家厂商集成案例,可用于了解 ROS 生态中 GPU 加速与智能体工作流的落地方式。