VeSTA:弥合视觉语言导航中的物理可执行性差距
Gang He 等人在 arXiv 预印本中提出 VeSTA 框架,用于弥合连续视觉语言导航中语义能力与物理可执行性之间的差距。作者指出当前仿真器的宽松接触模型可能掩盖物理不可行动作,使到达成功率不能反映真实执行能力。
推荐理由:论文指出宽松接触模型会掩盖物理不可行动作,并给出对齐可执行轨迹的方法,可供评估VLN策略的仿真与实机差距参考。
内容类型
按内容形态浏览
559 条精选近 30 天 559 条共收录 1,040 条
Gang He 等人在 arXiv 预印本中提出 VeSTA 框架,用于弥合连续视觉语言导航中语义能力与物理可执行性之间的差距。作者指出当前仿真器的宽松接触模型可能掩盖物理不可行动作,使到达成功率不能反映真实执行能力。
推荐理由:论文指出宽松接触模型会掩盖物理不可行动作,并给出对齐可执行轨迹的方法,可供评估VLN策略的仿真与实机差距参考。
香港大学团队提出SpaRV,一种由可微光线步进渲染的稀疏辐射体素地图,让不规则LiDAR扫描与图像共同监督建图。该方法用LiDAR深度和占据约束几何,并通过交替训练地图与光度优化相机位姿和焦距来修正相机误差;训练和渲染时仅保留一个全分辨率子图、其余用更粗八叉树层级以限制GPU显存。
推荐理由:论文用稀疏辐射体素让不规则LiDAR扫描与图像共同约束建图,并交替优化相机位姿与焦距,为机器人场景重建提供可迁移思路。
SteerAct 提出一种少样本时间引导框架,在不更新动作模型权重的情况下,通过修改特征激活提升预训练机器人动作模型的任务成功率。该方法用预训练稀疏自编码器提供候选特征,并以时间描述符刻画各特征局部激活顺序模式的分布,从而在无需时间步对齐的情况下比较不同 rollout。
推荐理由:论文提出用稀疏自编码器特征的时间描述符做少样本激活引导,为测试时提升预训练动作模型提供可迁移方法。
作者提出向量量化世界模型 VQ-WM,将离散潜空间长程搜索与连续视觉反馈控制结合,用于机器人操作规划。该方法用首达时间的准度量估计替代欧氏距离,使规划抽象与控制器能力对齐。在汉诺塔实机操作中,该方法仅用短演示数据即达到 100% 成功率,并在操作与运动仿真基准上比最强世界模型高出 13.3 至 85.3 个百分点。
推荐理由:论文把离散潜空间搜索与连续视觉反馈控制结合,并用首达时间估计对齐规划与控制器能力,为长程操作提供可迁移方法。
AQUAACT 是作者称为首个公开的语言标注水下数据集,将相机图像与人类摇杆指令配对,包含 1.9 小时真实演示和 17.9 小时仿真演示,并附车辆惯性测量数据。实验显示仿真演示可迁移到真实数据,并大幅减少策略所需的真实演示量。在仿真中对七种策略(从模仿学习基线到 VLA 模型)的闭环基准测试显示,没有策略完成超过五分之一的回合,陆上数据预训练也未让大型 VLA 模型优于从头训练的小策略。
推荐理由:论文公开了带语言标注的水下遥操作数据集,并用七种策略的闭环基准说明水下自主任务仍未解决。
CusADi2 是一个开源软件库,通过在单个批次实例内部额外并行化计算,降低机器人运动学、雅可比与海森矩阵的批量求值延迟。
推荐理由:该库在 MuJoCo Menagerie 全部 67 个机器人上对比多种基线,给出批量运动学与雅可比、海森计算的低延迟方案。
Behnam Moradi 提出 Self-Crystallizing Behavior Trees(SCBT),把基础模型当作编译器而非运行时,在行为树节点失败时由 LLM 提出最小子树补丁,经 CMA-ES 调参、上下文赌博机决定是否调用 LLM,并通过静态检查、不变量监控回放和相对未修补树的经验余量三阶段准入。
推荐理由:论文把大模型推理编译成确定性行为树,并给出仿真中的调用次数与任务成功率对比,可了解基础模型与经典控制结合的一种路径。
论文提出一种共享自主仲裁策略,利用多模态意图推断所得信念分布的熵动态调整自主等级。人类意图用动态贝叶斯网络建模,依据遥操作中操作者实时注视数据和机械臂运动更新目标信念,再将人类输入与自主控制的融合表述为模型预测控制问题,实现从直接遥操作到完全自主的连续过渡。
推荐理由:论文用眼动与机械臂运动推断操作意图,并据此在遥操作与自主控制间连续调节权限,可与既有共享自主方法对照。
作者提出 T(R,O) Grasp++,一个面向杂乱环境的跨本体灵巧抓取合成扩散框架,并构建约 0.5B 条抓取标注、覆盖八种灵巧手和约 5 万物体的仿真基准。实验称该模型在八种灵巧本体上平均成功率达 88%,推理时延仅 0.3s,推理样本效率提升 10 倍以上。该工作为预印本,结果基于仿真实验。
推荐理由:论文给出约5亿条抓取标注的仿真基准与跨八种灵巧手的扩散抓取框架,可用于比较杂乱场景抓取方法。
TILDE 提出一种从预训练具身基础模型向未做动作预训练的策略迁移能力的蒸馏框架,结合学生状态上的在线蒸馏与教师执行恢复轨迹的学习。其 AutoDAgger 用机器人奖励模型监测任务进度并触发教师介入,无需人工监控或操控,恢复轨迹采集速度比人类在环方法快 2 倍以上。在三个真实世界任务上,TILDE 的任务表现最高为行为克隆的 4.1 倍,并支持跨架构蒸馏。
推荐理由:论文提出从具身基础模型蒸馏策略的框架,并给出自动数据聚合与实机任务对比结果,可供关注策略迁移的研究者参考。
Jiaxi Jiang 等提出 HumanoidPose 框架,把视觉当作本体感知,仅从视频恢复人形机器人在世界空间中的全身关节配置。该方法将预训练人体姿态特征与机器人运动学结合,并把人体动作重定向到十六种人形机器人本体,从而完全用合成数据学习;还通过自训练利用无标注在线视频训练 2D 机器人姿态检测器。
推荐理由:论文提出仅凭视频恢复人形机器人全身关节配置的框架,并在三个真实平台上与基线比较误差。
一篇 arXiv 预印本在 RoboDojo 的六项操作任务上评测了九款前沿多模态语言模型,让它们直接控制真实机械臂。作者称这是首次在物理硬件上对广泛前沿模型做统一操作任务比较,结果显示这些模型能完成多种操作任务,但精度和效率尚不足以在实际动作预算内完成。2026 年 7 月至 10 月间基准性能对应 53.9 天的翻倍周期,最佳执行速率提升 4.4 倍,最低执行成本下降 6.2 倍。
推荐理由:在真实机械臂上统一评测九款前沿多模态语言模型,给出能力现状与性能翻倍周期,可作为通用模型直接控制机器人这一路线的参照。
GOFusion 是一个面向自主机器人导航的实时视觉建图系统,将高斯图元锚定到局部占据地图,同时为路径规划提供空间感知和高保真外观。系统基于视觉-惯性 SLAM 的位姿估计与局部占据地图构建 3D 高斯地图,并把 3D Gaussian Splatting 优化限制在活跃子图内以约束 GPU 显存占用。
推荐理由:论文把高斯图元锚定到局部占据地图,并用在线Fisher近似驱动剪枝与下一最佳视角规划,可供自主导航与建图研究参考。
DexGraspFlow 提出一种条件式连杆级 SE(3) 流匹配框架,将几何关系与运动学拓扑结合用于跨本体灵巧抓取生成。该方法在三种机器人手、30 组物体-手配对上的平均仿真成功率为 95.33%,含逆运动学的平均生成延迟比一个先进基线低约 49%。作者还报告了对七种去指变体的零样本适应与手掌朝向控制,并在部署手型的 100 次实机抓取试验中取得 91% 成功率。
推荐理由:论文把运动学拓扑引入跨本体灵巧抓取生成,并给出三种手、30 组手物配对的仿真结果与实机试验。
研究提出 Skill-RSI,让强通用模型仅在离线阶段编写、运行、诊断并修复仿真中的操作技能,冻结后的技能以代码形式运行或由廉价调用器读取描述执行。
推荐理由:论文提出冻结技能加廉价调用器的复用路线,并给出编译成本、失败任务与隐藏布局上的对照数据。
LENS 是部署在 AMD KR260 上的边缘场景记忆加速系统,将 ACEsplat 式场景坐标回归与 3DGS 渲染搬到低功耗 FPGA/ARM 平台。
推荐理由:论文把 SCR 定位与 3DGS 渲染搬到低功耗 FPGA,并给出板级实测的时延、功耗与画质对比,可作为边缘部署的参考。
VLA-Rolling 提出一种轻量推理框架,通过动作尾部继承、逐动作置信度估计和置信度引导的重加噪与去噪预算分配三阶段复用动作尾部,底层 VLA 保持冻结。
推荐理由:论文提出复用动作尾部的推理框架,在16组模型与基准组合上同时报告推理加速与成功率变化,可供比较VLA推理效率方案。
针对 LeWM 等潜世界模型用欧氏距离搜索动作序列的做法,作者发现该假设只在目标附近成立,远处 L2 代价会形成虚假低代价盆地困住规划器。作者据此提出 Neighborhood Graph Cost(NGC),在训练潜变量构建的互近邻图上计算最短路径距离,只改终端代价且无需重训。
推荐理由:研究指出 LeWM 的欧氏终端代价只在目标附近成立,提出沿潜流形测距的 NGC 方法,为潜空间世界模型的规划代价设计提供可迁移思路。
DreamCan 提出一种分层策略,用预训练视频模型改造的高层规划器生成稀疏视觉子目标,再由低层视觉运动策略执行,从而把视频模型的可执行性约束进规划。作者从无动作的离线机器人视频中估计子目标的可达性与任务效用,并用动态规划自动选取子目标序列,无需人工标注。
推荐理由:论文提出用稀疏视觉子目标替代稠密视频预测的分层策略,并在 LIBERO-Long 与真实双臂任务上给出对比结果。