CAOS-SLAM:面向动态环境的类别无关物体感知实时 vSLAM
CAOS-SLAM 提出一种动态 vSLAM 框架,在 ORB-SLAM3 基础上加入混合感知管线,实时检测、跟踪并过滤语义已知和此前未见的运动物体。方法按需执行全景分割做物体发现,对未分类区域用深度聚类实例化候选未知物体,两次全景更新之间依靠轻量检测或基于世界坐标系卡尔曼预测、深度一致性和外观相似度的时间掩码传播维持物体轨迹,再用估计的物体运动剔除动态特征。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
CAOS-SLAM 提出一种动态 vSLAM 框架,在 ORB-SLAM3 基础上加入混合感知管线,实时检测、跟踪并过滤语义已知和此前未见的运动物体。方法按需执行全景分割做物体发现,对未分类区域用深度聚类实例化候选未知物体,两次全景更新之间依靠轻量检测或基于世界坐标系卡尔曼预测、深度一致性和外观相似度的时间掩码传播维持物体轨迹,再用估计的物体运动剔除动态特征。
论文提出 Value Disaggregation(VaDar),训练一个与子目标无关的单一策略,最大化各子目标 critic 值的线性组合,子目标信息只在训练时使用,部署时无需选择子目标。
推荐理由:论文提出用价值分解替代子目标条件策略,省去部署时的子目标选择,并在 RoboCasa 长程任务上给出对比结果。
研究提出一种面向腱驱动连续体机器人(TDCR)的不确定性感知算子学习代理模型,可在不同设计与驱动条件下预测完整平衡构型。其核心是用浅层神经网络从力学感知设计坐标学习非平稳高斯过程核的度量,并以空间核表示骨干位置与旋转应变、直接在SO(3)上重建姿态。
HAF-VLA 提出一种面向人形机器人 VLA 控制的分层动作流框架,在预训练 flow-matching VLA 基础上继承视觉语言前缀编码器与动作专家权重,并加入可学习阶段嵌入和跨阶段 KV-cache 条件机制。它不再一次生成完整动作块,而是按先移动与头部指令、再腰部细化、最后全身操作的顺序逐步去噪共享全身动作空间。作者称在六项真实世界任务上,该框架提升了现有人形移动操作模型的性能。
研究提出一种紧耦合的LiDAR-惯性-运动学里程计框架,用于轮腿四足机器人:保留解析滚动预测,并从本体感知历史中学习逐轮、随方向变化的过程协方差,通过运动学修正调节滚动预测的影响。
ReInsVLN 提出一种免训练框架,在冻结的导航器中构建并利用历史记忆,在 R2R Val-Unseen 上相较原生 StreamVLN 和 InternVLA-N1 成功率分别提升 8.48 和 3.37 个百分点,达到 64.27% 和 64.44%。
推荐理由:论文提出免训练的历史证据复用框架,并给出在 R2R Val-Unseen 上的成功率提升与压缩带来的时延、显存收益。
研究提出几何感知单目视觉规划框架,从两帧图像、相对位姿和MAV状态预测轨迹,不显式重建深度。方法先训练基于深度的几何专家,再用配对RGB-D观测把规划特征跨模态蒸馏到单目分支,最后适配下游轨迹规划目标。团队用3D Gaussian Splatting仿真器渲染数据并评估,仿真训练的规划器未经真实环境微调即部署实机,实现最高6.5 m/s的避障飞行。
上海交大等作者提出 Constraint-preserving Temporal Recombination(CTR),一种训练期数据干预方法,在保留各臂局部传感运动内容的同时重新调整片段时序,以保留任务要求的跨臂约束。
推荐理由:论文提出训练期数据干预方法 CTR,用于削弱双臂模仿学习中的虚假跨臂耦合,并在仿真与实机任务上对比多种策略。
SPAR 提出对 VLA 模型 LLM 主干同时剪枝隐藏层与前馈中间维度,再用强化学习恢复策略性能。应用于 π0.5 时,语言主干从 2.34B 降至 0.09B 参数,完整模型从 3.37B 降至 1.12B,分别移除约 96% 和 67% 的参数。
推荐理由:论文给出 VLA 模型结构化剪枝后接强化学习恢复的具体压缩比例与 LIBERO 成功率变化,可作为紧凑策略部署的参考。
ALIGN 提出一种条件对齐的优势条件行为克隆(AC-BC)框架,用于视觉-语言-动作策略,直接预测策略标签空间中的类别化成对条件,并通过 AdaRMS 调制与流时间融合注入 DiT 动作专家。
推荐理由:论文针对混合质量机器人数据下的优势条件行为克隆,提出条件对齐框架,并在两个实机任务上给出闭环成功率对比。
研究在14名健康参与者上对比了肘部主动外骨骼的五种肌电驱动控制算法,包括两种不同助力水平的比例肌电控制(PMC)、纯积分自适应重力补偿(AGC-PI)、运动学与加速度感知的模型型AGC(AGC-AW)以及基于递归最小二乘在线估计负载的AGC-RLS。
RoboMMT 提出一种模块化控制架构,将参数化表达动作合成、基于物理的角色控制与面向空间交互目标的反应式适应耦合起来,训练一个参考条件跟踪策略在广泛表达域内保持动态稳定。
推荐理由:论文给出耦合表达动作合成与物理角色控制的模块化架构,并对比了覆盖域不足的跟踪器失稳情况。
研究团队提出 ForagerSim,一个面向需要地图推理的具身任务的跨学科研究平台与仿真环境,场景覆盖移动机器人搜救与动物觅食,可在复杂迷宫和可能无限大的开阔区域中运行。
推荐理由:该预印本提出可调感知、尺度、拓扑与动态难度的仿真平台,用于比较学习策略与地图基线在需地图推理任务上的差距。
Cartender 提出从真实驾驶记录中学习未被采取的分支,用视觉语言模型生成替代未来及对应指令,并以不支持的指令作为负标签,从而在无仿真器条件下构造匹配与不匹配的指令-动作对。
推荐理由:论文用真实记录构造反事实分支来监督语言条件驾驶,并给出同场景换指令的评测方式,可供研究语言条件策略如何区分场景约束与指令。
RoboPhoto-VLA 提出一个统一视觉-语言-动作框架,联合建模感知、推理与相机控制,用于自主机器人摄影。该框架包含用于结构化动作规划的 PhotoCoT 和将相机行为与人类审美偏好对齐的 Aesthetic Direct Preference Optimization(ADPO)。
AnchorFlow-VIO 是一个基于 Basalt 的开源单目视觉惯性里程计系统,作者在 LaMAria 上用统一配置完成评估。系统使用一个灰度相机和一个 IMU,结合出厂 IMU 校正、固定时间调整、窗口化初始化和固定模板 patch 跟踪。
论文提出运动学信息年龄 K-AoI,用瞬时笛卡尔速度对 AoI 加权,把时间陈旧度换算为空间偏差,用于数字孪生遥操作的同步评估。作者在由 6-DOF 机械臂、Unity 孪生体和 tc netem 网络损伤构成的测试台上,跨七种网络条件评估,发现 K-AoI 与 AoI 的秩相关在所有网络下不超过 ρ=0.65,卫星连接下降至 ρ=0.22。
Binbin Zhang 等人在 arXiv 预印本中提出 PhantomTac,利用约 0.5 mm 厚、无需供电的磁标签改变磁场,从而伪造磁性触觉传感器解读出的力。
论文提出一种面向人形机器人的数据高效示教学习(LfD)框架,从演示视频中提取紧凑的任务特征而非原始图像来学习操作技能。该框架结合分层视觉预处理、基于Kinect的人体关节估计、提示式目标检测和深度信息,提取人体运动特征与三维物体位置,再训练时序深度学习模型预测机器人关节角轨迹。
作者提出HS-MoDP,通过共享专家池上的独立语义路由,把分别演示的手臂技能组合起来,在Unitree G1上取得比基线更强的技能组合效果。为采集全身接触操作演示,团队开发了同构外骨骼G1Exo,对机械臂构型提供关节级直接控制。
推荐理由:论文提出用同构外骨骼采集接触操作演示,并比较其与VR-IK遥操作对策略学习的影响,可供研究遥操作数据质量的人参考。
Kryštof Pšenička与Stefan Edelkamp提出一套完整的GPU常驻管线,用于多机器人对水下结构做3D巡检:输入三角网格和K台携带短距、有限视场相机的机器人,输出联合覆盖目标比例表面的6自由度轨迹,并最小化线性插值的完工时间与总成本目标。
推荐理由:论文给出多机器人水下结构巡检的GPU常驻五阶段管线,并公开代码与14个网格的消融结果,可供规划与覆盖问题参考。
研究提出ERR-Env可验证交互环境与ERR-Bench基准,用于评估具身VLM在正常、中间和错误状态下的恢复能力与执行可靠性。作者进一步提出在线强化学习方法Action-Grouped Turn-GSPO(AGT-GSPO),结合回合级任务进度与错误状态奖励及动作分组优势估计,训练出2B参数的ERR-VLM。
推荐理由:论文给出可验证交互环境与错误恢复基准,并报告2B模型在严格成功率与恢复率上的提升幅度。
OmniInteract 提出面向双人形机器人全身物理交互的统一控制方法,通过表面接触感知重定向与可扩展残差策略学习应对人机形态差异和交互多样性增长带来的控制保真度下降。
推荐理由:论文提出面向双人形机器人全身交互的统一控制方法,用表面接触感知重定向与残差策略分解应对形态差异和技能扩展。
Aung Htet 等人提出一种全脉冲神经网络控制架构,用环形吸引子编码旋转关节状态,使表示与旋转系统的拓扑一致。稳态调节在这些分布式表示上直接计算目标状态偏差,对向增益调制群体把偏差转为活动凸包的受控相位移动,实现设定点调节;作者推导出解析傅里叶相位解码器,并用推挽脉冲群体实现其带符号分量。
针对细圆柱物体难以容纳平面标记的问题,提出利用物体已知曲率的双色条纹标记,以单相机提升位姿测量。在15 cm正对相机条件下,滚转标准差Cramér-Rao下界为平面标记2.00°、单曲面标记0.38°、环绕标记0.21°,蒙特卡洛滚转RMS误差与对应下界相差约10%以内。一阶关系将曲面标记矢高与立体基线提供的滚转灵敏度联系起来,为标记几何设计提供依据。
SSIO 提出积分自监督方案,让惯性里程计模型从零训练时不再依赖真值轨迹,只需标定 IMU 并在正常运行时记录数据。该方法先用短窗积分 IMU 的教师模型监督学生模型,学生直接预测速度且精度高于教师,再用多窗口位姿图蒸馏序列一致目标。在覆盖行人、无人机、四足机器人和人形机器人的六个数据集上,同一套无速度或位置标签的训练流程所得模型平均速度误差与同架构有监督基线相差 0.07 m/s。
推荐理由:论文提出用短窗积分自监督替代真值轨迹训练惯性里程计,并在行人、无人机、四足和人形六套数据上验证。
FR-VLA提出一种视觉语言力推理模型,用可学习的力查询token基于视觉语言上下文生成力准入信号,再用该信号调制外部的token化力通路来生成动作。作者指出已有VLA通常以固定通路注入力信息,未显式判断力反馈与当前动作是否相关。在两个机器人平台的五个接触密集任务实机实验中,FR-VLA在六个评估阶段取得最高平均成功率,轨迹可视化显示其力准入随交互阶段变化。
推荐理由:论文提出在力进入动作通路前先由视觉语言上下文判断力相关性的机制,并在两个机器人平台的五类接触密集任务上做了实机对比。
研究构建了自动仓储通道内机器人拣选的解析-DES基准,在相同货架几何、穿梭车运动与拣选条件下与Lerher等解析式对比。基准含180个场景(三种货架长度、两种成对运动曲线、n=1至30个访问拣选点,每场景十次仿真重复),复现已发表解析表需取dES=1.5 m、dTB=0 m。
SkateNav 提出一个基于强化学习的滑行导航框架,让被动轮四足机器人同时学习转向、推进和两者的时间分配。该框架用带时间预算的到达目标替代速度跟踪,并通过自适应滑行周期与每步频率调制调整滑行、推进和恢复的时长。
推荐理由:论文给出滑行导航的强化学习框架与仿真对比,并展示从仿真到被动轮 Mini Cheetah 的零样本迁移。
PaceVLA提出一种面向视觉-语言-动作模型的自适应时间执行框架,通过多粒度动作解码与路由选择减少低层动作步数。该框架包含基于共享动作专家的模式专用解码器,以及判断粗粒度执行是否合适的可量化性引导模式选择与上下文条件路由器。作者在三个多任务仿真基准和六个真实世界任务上测试,称其在多种本体包括长程与灵巧操作中提升执行效率并保持任务成功率。
推荐理由:论文针对VLA执行时延问题提出自适应时间动作量化框架,并在三个仿真基准和六个实机任务上验证。
研究提出在代码空间直接搜索多智能体协调策略,由编码智能体在仿真反馈和正确性校验下迭代提出、实现、评估并改进算法。在2024 League of Robot Runners竞赛的一张地图上,两天搜索得到的策略在最密集实例上比本地复现的较强参赛方案高35.0%,并可泛化到未见地图实例。
CondenseVLA 提出一种带可学习解码端历史压缩模块的多帧 VLA 策略,用可学习查询和多头交叉注意力把缓存的逐帧特征压缩为固定数量的 slot token,用于动作解码。
推荐理由:论文提出可学习的历史压缩模块,并给出仿真与实机成功率对比,可用于比较多帧 VLA 的历史信息利用方式。
作者提出 Vision-Language-Delta-Action(VLDA),把完整未来状态预测改写为紧凑的可操作过渡建模,用一个 Delta 变量捕捉潜在世界状态变化,作为视觉语言理解与动作生成之间的接口。
研究团队提出 AeroIntent,一个基于仿真的无人机任务意图识别基准,包含 22 个轨迹程序在五类任务意图下生成的 990 条同步多模态序列,提供雷达、RGB、红外和深度观测,并设置程序不相交、雷达缺失和观测前缀三种评估协议。
OV-PEAR 是一个面向未知工业物体的三维重建与位姿尺度估计框架,通过实例分割生成物体级三维假设、经外观感知视角检索与显式尺度搜索对齐到机器人坐标系,再用多视角 RGB-D 证据反投影验证体素占据。
推荐理由:论文给出未知工业物体的位姿尺度估计与重建流程,并在BOP-Industrial和实机装配上报告结果,可供比较零样本位姿方法。
作者提出 DISCO,用渐进加宽的 MCTS 在物理仿真中生成长程规划,并把搜索结果周期性蒸馏进策略-价值模型,使策略在测试时无需仿真搜索即可直接部署。搜索过程中由学习到的策略提出连续动作,价值函数按任务完成进度为动作打分,并借助 GPU 并行仿真加速。在仿真与真实世界的多物体整理任务中,DISCO 的表现优于行为克隆、强化学习和基于搜索的基线。
推荐理由:论文把仿真中的 MCTS 搜索蒸馏进连续动作策略,为长程多物体整理任务提供了一条可迁移的训练思路。
TrajWAM 提出一种轨迹引导的世界动作模型,用于高效的动态机器人操作。该方法用历史物体掩码预测目标未来轨迹,再通过轻量 Trajectory ControlNet 引导预训练视频模型生成轨迹一致未来,并用解耦蒸馏实现一步视频-动作推理。
推荐理由:论文把未来视觉预测锚定到目标物体轨迹上,并给出一步推理的解耦蒸馏方案,可供动态操作研究比较。
论文提出 Collective Experience Learning(CEL)范式,让已部署机器人把自身执行经验汇总起来更新共享策略,再返回机群使用。作者通过失败引导经验检索微调(FERT)实现该范式,操作员只提供二值回合结果标签和环境重置,无需额外专家示范或纠正动作;容错异步训练系统(FATS)协调机器人执行、云端推理与策略优化。
推荐理由:论文提出用已部署机器人自身执行经验更新共享策略,并在96台机器人上验证了规模扩大带来的收益。
作者提出LECDrive框架,在VLA模型中嵌入由任务特定潜token构成的渐进式专家认知链,让模型从DINOv3、SAM3和DepthAnything3中内化视觉、语义与几何知识。该认知链按课程学习原则从表征到语义、几何逐步施加监督,同时保持推理效率。作者称在物体感知、状态预测和轨迹规划等自动驾驶基准上,LECDrive持续提升基础VLM的性能,论文为预印本。
研究提出一种月面站(SS)辅助的辐射测量导航架构,通过双差卫星观测与星间双向单程测距(DOWR)提升月球车相对定位。基于NASA LCRNS五星星座与月球南极Connecting Ridge附近轨迹的蒙特卡洛仿真显示,99.7%垂直定位平均误差从无SS的29.9 m降至双差伪距与多普勒处理的5.5 m,加入DOWR后为4.8 m。