ReInsVLN:免训练视觉语言导航复用历史观测,R2R Val-Unseen 成功率提升 8.48 个百分点
ReInsVLN 提出一种免训练框架,在冻结的导航器中构建并利用历史记忆,在 R2R Val-Unseen 上相较原生 StreamVLN 和 InternVLA-N1 成功率分别提升 8.48 和 3.37 个百分点,达到 64.27% 和 64.44%。
推荐理由:论文提出免训练的历史证据复用框架,并给出在 R2R Val-Unseen 上的成功率提升与压缩带来的时延、显存收益。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
ReInsVLN 提出一种免训练框架,在冻结的导航器中构建并利用历史记忆,在 R2R Val-Unseen 上相较原生 StreamVLN 和 InternVLA-N1 成功率分别提升 8.48 和 3.37 个百分点,达到 64.27% 和 64.44%。
推荐理由:论文提出免训练的历史证据复用框架,并给出在 R2R Val-Unseen 上的成功率提升与压缩带来的时延、显存收益。
研究提出几何感知单目视觉规划框架,从两帧图像、相对位姿和MAV状态预测轨迹,不显式重建深度。方法先训练基于深度的几何专家,再用配对RGB-D观测把规划特征跨模态蒸馏到单目分支,最后适配下游轨迹规划目标。团队用3D Gaussian Splatting仿真器渲染数据并评估,仿真训练的规划器未经真实环境微调即部署实机,实现最高6.5 m/s的避障飞行。
AnchorFlow-VIO 是一个基于 Basalt 的开源单目视觉惯性里程计系统,作者在 LaMAria 上用统一配置完成评估。系统使用一个灰度相机和一个 IMU,结合出厂 IMU 校正、固定时间调整、窗口化初始化和固定模板 patch 跟踪。
Kryštof Pšenička与Stefan Edelkamp提出一套完整的GPU常驻管线,用于多机器人对水下结构做3D巡检:输入三角网格和K台携带短距、有限视场相机的机器人,输出联合覆盖目标比例表面的6自由度轨迹,并最小化线性插值的完工时间与总成本目标。
推荐理由:论文给出多机器人水下结构巡检的GPU常驻五阶段管线,并公开代码与14个网格的消融结果,可供规划与覆盖问题参考。
针对细圆柱物体难以容纳平面标记的问题,提出利用物体已知曲率的双色条纹标记,以单相机提升位姿测量。在15 cm正对相机条件下,滚转标准差Cramér-Rao下界为平面标记2.00°、单曲面标记0.38°、环绕标记0.21°,蒙特卡洛滚转RMS误差与对应下界相差约10%以内。一阶关系将曲面标记矢高与立体基线提供的滚转灵敏度联系起来,为标记几何设计提供依据。
SSIO 提出积分自监督方案,让惯性里程计模型从零训练时不再依赖真值轨迹,只需标定 IMU 并在正常运行时记录数据。该方法先用短窗积分 IMU 的教师模型监督学生模型,学生直接预测速度且精度高于教师,再用多窗口位姿图蒸馏序列一致目标。在覆盖行人、无人机、四足机器人和人形机器人的六个数据集上,同一套无速度或位置标签的训练流程所得模型平均速度误差与同架构有监督基线相差 0.07 m/s。
推荐理由:论文提出用短窗积分自监督替代真值轨迹训练惯性里程计,并在行人、无人机、四足和人形六套数据上验证。
研究提出在代码空间直接搜索多智能体协调策略,由编码智能体在仿真反馈和正确性校验下迭代提出、实现、评估并改进算法。在2024 League of Robot Runners竞赛的一张地图上,两天搜索得到的策略在最密集实例上比本地复现的较强参赛方案高35.0%,并可泛化到未见地图实例。
研究团队提出 AeroIntent,一个基于仿真的无人机任务意图识别基准,包含 22 个轨迹程序在五类任务意图下生成的 990 条同步多模态序列,提供雷达、RGB、红外和深度观测,并设置程序不相交、雷达缺失和观测前缀三种评估协议。
OV-PEAR 是一个面向未知工业物体的三维重建与位姿尺度估计框架,通过实例分割生成物体级三维假设、经外观感知视角检索与显式尺度搜索对齐到机器人坐标系,再用多视角 RGB-D 证据反投影验证体素占据。
推荐理由:论文给出未知工业物体的位姿尺度估计与重建流程,并在BOP-Industrial和实机装配上报告结果,可供比较零样本位姿方法。
作者提出 DISCO,用渐进加宽的 MCTS 在物理仿真中生成长程规划,并把搜索结果周期性蒸馏进策略-价值模型,使策略在测试时无需仿真搜索即可直接部署。搜索过程中由学习到的策略提出连续动作,价值函数按任务完成进度为动作打分,并借助 GPU 并行仿真加速。在仿真与真实世界的多物体整理任务中,DISCO 的表现优于行为克隆、强化学习和基于搜索的基线。
推荐理由:论文把仿真中的 MCTS 搜索蒸馏进连续动作策略,为长程多物体整理任务提供了一条可迁移的训练思路。
作者提出LECDrive框架,在VLA模型中嵌入由任务特定潜token构成的渐进式专家认知链,让模型从DINOv3、SAM3和DepthAnything3中内化视觉、语义与几何知识。该认知链按课程学习原则从表征到语义、几何逐步施加监督,同时保持推理效率。作者称在物体感知、状态预测和轨迹规划等自动驾驶基准上,LECDrive持续提升基础VLM的性能,论文为预印本。
研究提出一种月面站(SS)辅助的辐射测量导航架构,通过双差卫星观测与星间双向单程测距(DOWR)提升月球车相对定位。基于NASA LCRNS五星星座与月球南极Connecting Ridge附近轨迹的蒙特卡洛仿真显示,99.7%垂直定位平均误差从无SS的29.9 m降至双差伪距与多普勒处理的5.5 m,加入DOWR后为4.8 m。
针对多旋翼无人机直接测风可靠性受机体运动影响的问题,研究提出用车体水平与垂直速度量化每次风观测获取质量的置信度方法,并将置信度用于调节二维矢量估计器的测量权重。在水平平移、垂直运动和留出自主航点飞行实验中,双特征方案ROC-AUC达0.995,98.84%的平移观测被判定为不可靠;置信度自适应使平移时估计器中位增益从0.207降至0.064,悬停时仍保持0.151。
Gang He 等人在 arXiv 预印本中提出 VeSTA 框架,用于弥合连续视觉语言导航中语义能力与物理可执行性之间的差距。作者指出当前仿真器的宽松接触模型可能掩盖物理不可行动作,使到达成功率不能反映真实执行能力。
推荐理由:论文指出宽松接触模型会掩盖物理不可行动作,并给出对齐可执行轨迹的方法,可供评估VLN策略的仿真与实机差距参考。
香港大学团队提出SpaRV,一种由可微光线步进渲染的稀疏辐射体素地图,让不规则LiDAR扫描与图像共同监督建图。该方法用LiDAR深度和占据约束几何,并通过交替训练地图与光度优化相机位姿和焦距来修正相机误差;训练和渲染时仅保留一个全分辨率子图、其余用更粗八叉树层级以限制GPU显存。
推荐理由:论文用稀疏辐射体素让不规则LiDAR扫描与图像共同约束建图,并交替优化相机位姿与焦距,为机器人场景重建提供可迁移思路。
Yoo Sung Jang 与 Michael Ryoo 提出 Latent Projection for Latent Planning,利用世界模型训练中 SIGReg 正则化带来的高斯结构,拟合状态动力学矩阵 A 并以其特征基衡量各潜空间方向的不确定性,从而把规划用的 ℓ2 成本限制在不确定性最低的 k 维子空间。
InteractAgent 是一个面向长程人-场景交互的智能体多模态大模型系统,以单个 MLLM 同时担任规划器与评估器、冻结的 MotionLLM 作为执行器,形成规划、执行、观测、反思的闭环。系统引入在线观测做逐步恢复决策(继续/重做/重规划),并用记忆增强反思进行多轮计划细化与自适应停止。在 UniHSI 上,作者称其相比免训练基线提升了任务成功率并减少了穿透,代码已开源于 GitHub。
Jineon Kim 与 Jhonghyun An 提出 TNVD-SC,在保留 Scan Context 环扇拓扑的同时编码地形相对垂直概率分布,用于森林长期 LiDAR 位置识别。
针对相机弱监督3D语义占据中稀疏高斯位置仅靠像素渲染损失学习、前景小目标权重偏低的问题,提出仅在训练时使用的前景吸引损失:用伪深度反投影前景伪标签像素,将附近高斯拉向这些3D点,推理网络不变。
Behnam Moradi 提出 Self-Crystallizing Behavior Trees(SCBT),把基础模型当作编译器而非运行时,在行为树节点失败时由 LLM 提出最小子树补丁,经 CMA-ES 调参、上下文赌博机决定是否调用 LLM,并通过静态检查、不变量监控回放和相对未修补树的经验余量三阶段准入。
推荐理由:论文把大模型推理编译成确定性行为树,并给出仿真中的调用次数与任务成功率对比,可了解基础模型与经典控制结合的一种路径。
针对传感器刚性安装假设限制视觉惯性里程计适应性的问题,该研究提出基于Denavit-Hartenberg约定并引入机器人运动学模型的动态相机-IMU外参标定方法,配合两步初始化策略估计初始关节角,实现时变外参的在线估计。仿真实验显示该框架可适应相机-IMU外参变化并保持有竞争力的定位精度。
LateMatch 提出可缓存图像匹配范式,把现有深度特征匹配器的跨图交互推迟到网络最后几层,将单图内处理隔离为可离线缓存的 Context Blocks,在线只执行少量 Interaction Blocks。
Jiaxi Jiang 等提出 HumanoidPose 框架,把视觉当作本体感知,仅从视频恢复人形机器人在世界空间中的全身关节配置。该方法将预训练人体姿态特征与机器人运动学结合,并把人体动作重定向到十六种人形机器人本体,从而完全用合成数据学习;还通过自训练利用无标注在线视频训练 2D 机器人姿态检测器。
推荐理由:论文提出仅凭视频恢复人形机器人全身关节配置的框架,并在三个真实平台上与基线比较误差。
GOFusion 是一个面向自主机器人导航的实时视觉建图系统,将高斯图元锚定到局部占据地图,同时为路径规划提供空间感知和高保真外观。系统基于视觉-惯性 SLAM 的位姿估计与局部占据地图构建 3D 高斯地图,并把 3D Gaussian Splatting 优化限制在活跃子图内以约束 GPU 显存占用。
推荐理由:论文把高斯图元锚定到局部占据地图,并用在线Fisher近似驱动剪枝与下一最佳视角规划,可供自主导航与建图研究参考。
研究开发了两个ROS节点用于区分七种放射性同位素,模型训练节点采用梯度提升分类器,在留出测试集上报告总体准确率95%。演示中将C12137辐射探测器模块搭载于Jackal UGV,由操作员接近不同辐射源采集数据。
论文提出 Structure over Reasoning 零样本视觉语言导航智能体,让小型视觉语言模型每步只回答方向、是否停止等感知问题,再由鸟瞰语义场、骨架图和两阶段终止器把答案转成路线与终点。
LENS 是部署在 AMD KR260 上的边缘场景记忆加速系统,将 ACEsplat 式场景坐标回归与 3DGS 渲染搬到低功耗 FPGA/ARM 平台。
推荐理由:论文把 SCR 定位与 3DGS 渲染搬到低功耗 FPGA,并给出板级实测的时延、功耗与画质对比,可作为边缘部署的参考。
针对 LeWM 等潜世界模型用欧氏距离搜索动作序列的做法,作者发现该假设只在目标附近成立,远处 L2 代价会形成虚假低代价盆地困住规划器。作者据此提出 Neighborhood Graph Cost(NGC),在训练潜变量构建的互近邻图上计算最短路径距离,只改终端代价且无需重训。
推荐理由:研究指出 LeWM 的欧氏终端代价只在目标附近成立,提出沿潜流形测距的 NGC 方法,为潜空间世界模型的规划代价设计提供可迁移思路。
DreamCan 提出一种分层策略,用预训练视频模型改造的高层规划器生成稀疏视觉子目标,再由低层视觉运动策略执行,从而把视频模型的可执行性约束进规划。作者从无动作的离线机器人视频中估计子目标的可达性与任务效用,并用动态规划自动选取子目标序列,无需人工标注。
推荐理由:论文提出用稀疏视觉子目标替代稠密视频预测的分层策略,并在 LIBERO-Long 与真实双臂任务上给出对比结果。
Boston Dynamics 机械工程师 Taylor Frey-Baker 在访谈中解释,电动版 Atlas 之所以有头,是因为它要在人身边工作,需要更宽的视野,摄像头因此被移入头部,头部还用灯光和声音向周围人示意动作。