ReSPIRe:面向未知环境机器人概率搜索与跟踪的可复用信念树搜索
北京通用人工智能研究院等作者提出 ReSPIRe,一种用于未知杂乱环境下目标搜索与跟踪(SAT)的信息化轨迹规划方法,论文发表于 IEEE Transactions on Systems Man and Cybernetics-Systems 第 56 卷第 2 期。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
北京通用人工智能研究院等作者提出 ReSPIRe,一种用于未知杂乱环境下目标搜索与跟踪(SAT)的信息化轨迹规划方法,论文发表于 IEEE Transactions on Systems Man and Cybernetics-Systems 第 56 卷第 2 期。
该研究将ARAIM解分离与保护级计算建立在紧耦合GNSS/IMU因子图优化的后验上,利用当前状态边缘化与Woodbury更新计算无故障、单星、星座级和二阶故障假设下的保护级,无需重复全状态求逆或图重优化。
RoboCode 提出一种共享软门控动作基元接口,把动作块表示为多个学习基元的软组合,而非单一离散编码。该接口在多个任务的动作块上学习后冻结,再训练任务特定的状态编码器映射到共享潜空间。在五个 ManiSkill 操作任务上,动作块平均重建 MSE 为 0.0187,闭环平均成功率为 75.6%,高于 ACT 的 68.8% 和 Diffusion Policy 的 41.6%。
推荐理由:论文提出跨任务共享的软门控动作基元接口,并在五个 ManiSkill 任务上给出重建误差与闭环成功率对比。
研究显示 OpenVLA 激活的稀疏自编码器(SAE)表征含有结果预测信息,可在机器人进入不可恢复状态前预测任务失败。作者还找出与成功或失败特定阶段相关的单个 SAE 特征,通过定位这些特征激活显著变化的时间区间来归纳重复出现的行为模式,并构建基于 VLM 的解释流程生成行为描述,在留出区间上验证其与特征激活的对应关系。
推荐理由:研究用稀疏自编码器解读 OpenVLA 激活,把失败预测与可解释行为模式联系起来,为诊断机器人策略提供一种可迁移的分析路径。
研究将机器人辅助穿衣表述为几何感知插入问题,用身体部位与衣物开口的空间关系替代完整可变形物体状态,并提出结合分阶段课程与逐指插入软门控的强化学习框架。训练后可变形评估中完整方法成功率为84.7±1.2%,消融显示插入门控贡献最大,叠加课程后得分最高。在假人手模型上,同一完整策略于实机20次试验中成功15次。
推荐理由:论文把穿衣任务建模为几何感知插入问题,并用消融实验定位插入软门控与课程学习的贡献。
TravSUITE 是一个面向越野高速导航的可通行性系统,由利用视觉基础模型构建几何语义局部地图的体素建图器,以及联合预测 BEV 几何、语义、速度与代价的统一神经网络组成。
推荐理由:论文给出无标注自监督的可通行性系统,消融显示代价学习与辅助修复各自贡献规划质量,并附实机风险适配实验。
一项 arXiv 预印本研究指出,流匹配 VLA 策略中数值求解器深度与执行时域存在耦合,且呈现符号反转:快速重规划时粗粒度积分降低精度,而在延长开环执行时反而明显提升任务表现。
作者把测试时训练(TTT)接入 InternVLA-A1 和 Pi0.5,用成对的人类演示与机器人轨迹研究以演示为条件的动作生成。实验显示,在当前规模下加入 TTT 并用成对数据训练,并未带来基于演示的一致目标选择;更短序列、全轨迹梯度连通和对比正则化在测试设置下也未明显提升对演示的响应。
DiscoDemo 提出用强化学习生成多样化机器人演示数据,再导出为静态数据集供下游视觉运动模仿学习使用。该方法训练带特权信息的潜在条件强化学习生成器,结合并行逆向课程与成功门控的多样性目标,产出多条成功的闭环行为并做安全过滤。
推荐理由:论文把强化学习当作数据生成器,用多解多样性提升下游模仿学习,并给出仿真与实机成功率对比。
北京通用人工智能研究院团队提出 TaF-VLA,将经物理力与压力监督的触觉表征接入 VLA 主干,用于接触密集的力感知操作。团队搭建自动化触觉-力采集装置并构建 TaF-Dataset,包含超过 1000 万条同步触觉观测、六轴力/力矩测量与力分布图。
推荐理由:论文提出以力觉而非视觉对齐触觉表征的 VLA 框架,并公开千万级同步触觉与六维力数据集,可供接触密集操作研究参考。
北京通用人工智能研究院团队提出触觉引导探索与定位框架TacEP,将单目视觉估计与基于视觉触觉传感器的高分辨率实时探索结合,用于机器人轴孔装配中的目标孔位精确定位。
推荐理由:论文给出视觉与触觉融合的孔位定位框架,并在实机上用五类连接件测试,可作为高精度装配的对照参考。
一项对比诊断研究在 HandMeThat v2 基准上评测了结构化社交与具身推理框架 FISER 与多模态增强方法 CEMIR,覆盖从 Qwen2.5-Omni-3B 到 GPT-5 的四款大模型。经多重比较校正的统计分析显示,两者在全部十六组模型与难度组合上均无统计显著差异,针对性消融亦如此,性能主要与骨干模型能力和歧义固有难度相关。
研究者提出一种标准化机器人模块,将磁吸对接接口与两个驱动关节结合,可从平面二维构型折叠为三维结构,并组装成三模块“trilobite”和五模块“seal”两种形态。
一项预印本研究指出,人形机器人安全滤波器的碰撞保证只在参数配置正确时成立,而参数配置依赖具体任务与环境,目前没有通用方法确定。作者提出目标插入攻击,并开发自动化工具 SIREN 为给定任务和环境寻找可插入的脆弱目标;在 SPARK 数据集的所有脆弱场景中,SIREN 均能识别攻击,数量是基线方法的三倍,并在真实人形机器人执行任务时触发碰撞。
提出偏差感知高斯过程(Ba-GP)框架,利用已记录GP后验均值梯度将估计的输入偏差与噪声传播为均值与协方差修正,并借助加性协方差结构实现数值高效的一阶校正算法。仿真研究与室内光照强度建图实验显示,Ba-GP相对噪声输入GP基线提升了预测精度与不确定性校准,计算成本比完整GP重训练低一个数量级。
研究提出一个将神经细胞自动机(NCA)与现有站点分配和避碰控制结合的模块化框架,用于机器人通过局部交互组装目标形状。框架引入分散式附着点发现机制,已在编队中的机器人更新并共享局部NCA状态以识别新附着点,部署时无需预定义站点列表。
论文研究以全身近距传感器作为归纳偏置,学习反射式避碰行为,并在强化学习环境中比较八种候选表征,包括隐空间压缩、未来接触预判、有损退化和特权状态估计。作者在刻意受限的样本与算力预算下端到端训练超过200台人形机器人玩简化版躲避球,发现低分辨率有损传感器比高分辨率全覆盖是更强的偏置,而预判接触发生的时间与部位反而降低了学习样本效率。该工作为预印本,结论基于仿真训练环境。
arXiv 论文研究月面机器人集群能否以自身成员作为热屏蔽,用强化学习训练一套由二十台机器人共享的策略。策略只在月夜结束时收到一次奖励,即最冷五台机器人的平均温度,奖励不含位置、间距、暴露或运动信息,集群仍涌现出聚集和在外围与核心间轮换两种行为。
推荐理由:研究用单一末端温度奖励训练共享策略,让二十台机器人自发形成聚集与轮换行为,并给出与静止抱团及物理下界的能耗对比。
一项 arXiv 预印本研究指出,VLA 模型以 bf16 训练且无 fp32 主副本时,AdamW 会把小于权重 1/512 的更新直接舍入掉;12 个开源 VLA 代码库中有 9 个默认或文档配方这样训练,包括 LeRobot 的 SmolVLA 默认配置及其 π0/π0.5 指南。
推荐理由:研究指出 bf16 微调 VLA 会静默抹掉大部分权重更新,并给出 fp32 主副本在 LIBERO 上的对比结果,可作为训练配置的参考。
论文提出BM2PC,一个用于可变形线性物体敏捷操作的贝叶斯多模态MPC框架,将多模态规划建模为集合优化问题,并加入执行动力学模型补偿快速操作中的执行偏差。在绳索跟踪与避障的仿真和硬件实验中,BM2PC在最长任务上把RMSE降低44.0%,避障性能与现有多模态MPC方法相当,规划时间减少29%至66%。
推荐理由:论文提出面向可变形线性物体动态操作的多模态MPC框架,并给出仿真与实机跟踪、避障的量化对比。
EgoForesight 提出一种视觉-语言-动作框架,联合利用机器人演示与带噪第一视角视频训练策略,通过可靠性条件加噪、可靠性加权回归和特权未来表征蒸馏降低不可靠动作标签的影响。在 3 万小时预训练数据下,其缩放斜率比基线更陡,真实世界开环动作 MSE 降低 20.5%,RoboCasa 少样本成功率提升 8.1 个百分点。后训练后,该方法在仿真与真实世界的灵巧操作任务上也取得较强的绝对性能。
推荐理由:论文提出用带噪第一视角动作联合训练 VLA 策略,并给出 3 万小时预训练下的缩放对比与实机开环误差数据。
FORCA 是一个以视觉观测和腕部力/力矩测量为输入、为接触探测与力响应运动编写 Python 程序的编码智能体,无需演示、任务特定训练或仿真。它在五次实机任务中覆盖三类接触密集操作:提升操作精度、适应物体或表面属性变化、在表面变化与物体运动下调节接触。与同一智能体的纯视觉版本相比,FORCA 提升了抓取精度和任务成功率,并减少了擦拭与剥离中的接触丢失。
推荐理由:论文展示编码智能体如何结合腕部力/力矩反馈改写接触操作程序,为力感知策略提供可迁移的闭环思路。
SAGE(Semantic-to-Action Grounded Execution)是一个读-决策-执行-校验框架,用视觉语言模型的轨迹作为对完整几何候选路径的偏好,并通过排序融合结合几何分数与VLM轨迹一致性。
WorldMirror 是一个智能体式 real-to-sim 框架,可从野外机器人演示构建可交互数字孪生。它把 real-to-sim 构建表述为可执行世界程序的迭代精炼:编码智能体分解场景、规划重建步骤并调度图像与 3D 生成工具,再通过验证反馈修正程序。在 DROID 上的实验显示,该框架能重建视觉忠实、几何一致的可交互世界,并保持所记录机器人轨迹的物理有效性。
推荐理由:论文把野外机器人演示转成可交互仿真世界,其世界程序迭代修正思路可供仿真数据构建参考。
作者提出 SEVI 框架,用于真实世界策略在线学习中的可靠性感知安全干预,其 Evidential Safety Critic 在一次前向计算中同时估计未来约束违反风险与认知不确定性。
推荐理由:论文提出带证据不确定性的安全干预框架,在仿真与真实USB插入任务上对比恢复式安全强化学习,可用于评估在线学习的安全过滤思路。
PrefO2O 提出一种离线到在线潜偏好迁移框架,可在没有人工反馈的情况下对未见目标任务做零样本偏好强化学习。该方法从源任务的少量离线偏好数据中学习任务无关的潜偏好空间,将可迁移偏好结构与任务特定变化解耦,并用置信度加权最优传输对齐生成伪偏好监督用于在线奖励适配。
推荐理由:论文提出从少量源任务偏好数据学习任务无关潜空间,在无人工反馈下迁移到新任务,可供比较偏好学习的数据效率路径。
StackGen3D 提出一种基于给定积木清单与三张正交轮廓图生成稳定积木装配体的两阶段框架:先用物理信息图神经网络(PI-GNN)预测积木间支撑关系并筛选稳定结构数据集,再训练条件流匹配模型学习符合目标轮廓的积木配置分布。
KiRoSe 提出用机器人运动学数据而非原始多路视频来分割机器人演示,以降低多模态大模型的处理成本。该方法借鉴 Huffman 编码思路构建稀疏运动 token(SMT),用带时间分段监督的运动轨迹编码并量化得到离散运动词汇,再以演示子任务标注监督开放语言模型解读 token 序列。
推荐理由:论文用机器人运动学数据替代多路视频做演示分段,并给出跨本体零样本迁移的评测结果,可供数据清洗与检索参考。
RepresentNav 是一个建立在自构建表征空间上的导航基础模型,该空间由策略自身目标从视觉基础模型中构建。它用三层 transformer 的 Representation Residuals 聚合多个视觉基础模型全深度特征,并在每次动作前通过潜在思维链预测下一时刻场景表征,以 JEPA 方式与策略端到端训练。
推荐理由:论文提出用策略自身目标构建视觉表征空间的导航基础模型,并给出与拼接编码器输出的对照结果。
Yunfei Xie 等作者提出 Sensorimotor Alignment(S²),一种免训练的离线指标,用于衡量模型感官表征与物理运动几何的对齐程度。作者称 S² 在多个模型家族中与下游机器人任务成功率正相关,可在闭环评测前用于模型优先级排序,也能在将 VLM 微调为 VLA 之前筛选有潜力的视觉语言模型骨干。
OpenTac 提出一种可定制、可扩展的电阻式触觉皮肤及全栈生态,通过结构化可变形覆盖层把切向载荷转为空间变化的压力分布,相邻 taxel 的差分响应可解码局部剪切向量,共模响应编码法向力。
推荐理由:论文给出可定制电阻式触觉皮肤的设计工具与配套生态,并在四种真实机器人本体上验证三维触觉反馈控制与策略学习。
该预印本提出用广义根轨迹扩展调和函数方法,为平面多边形障碍环境中的N个可互换机器人生成协调路径。经共形映射到圆域后,起点与终点成为有理函数R的极点与零点,路径即其广义根轨迹分支;在临界相位与边界相位之外的相位下,梯度运动使各机器人沿互不相交且不触及障碍的路径到达不同目标,机器人-目标分配由构造直接给出,并以增益作为时钟使所有机器人在指定时间同时到达。
DiffDreamer 是一个可微强化学习框架,将学习到的世界模型与可微仿真紧耦合用于 actor 优化:单步优化中世界模型传播捕捉外部动态与历史依赖特征的隐状态,可微仿真器传播机器人显式物理状态。
作者提出Progress Probes P²,在演示数据上对VLA策略激活训练线性探针来估计任务进度,并标记偏离预期进度的执行。在开源VLA π0.5及仿真和真实世界操作任务实验中,该方法在任务失败检测上不逊于或优于基于VLM的监测器和需要失败数据训练的方法。研究据此认为,对VLA内部做简单探针即可构建运行时监测器,无需外部基础模型。
推荐理由:论文用VLA自身内部激活训练线性探针做运行时进度监测,为免外部基础模型的失败检测提供可比较方案。
研究提出一种人形机器人移动学习框架,将运动数据仅作为训练先验,用自监督注意力接触规划器预测未来身体与环境接触,再由接触条件跟踪器生成全身协调动作。该框架让单一策略在部署时仅依赖机载观测、无需参考输入,并通过后续微调探索原始运动数据未覆盖的环境变化。作者称这一设计使策略内化接触感知的运动结构,而非直接复刻运动学轨迹。
推荐理由:论文把接触规划作为观测与动作之间的接口,为参考动作数据与强化学习探索的结合提供了一种可迁移的训练框架。
Echo提出一种框架,将停止与失败两类任务状态信号作为每个动作块的两个维度,与机器人动作一起去噪,从而区分执行中、成功完成和失败三种状态。该方法无需帧级进度标注,通过构建成功、失败和恢复轨迹进行监督,并让状态信号比动作更快去噪,使后续动作去噪步骤能基于更干净的状态估计。真实世界操作实验显示,Echo能较准确预测任务状态并持续提升策略性能。
推荐理由:论文把停止与失败信号并入动作块联合去噪,为VLA执行决策提供了一种免帧级进度标注的训练思路。
论文提出去中心化实时规划器 WarpWeaver,通过分散式列生成让多机器人协商共享空间租金,在静止时给出近最优协议认证。在 Dynobench 仿真中,其总行程时间较集中式离线规划器最多降低 22%,较去中心化实时基线最多降低 37%,在图连通性任务上成功率接近任务专用规划器的两倍。六台机器人机载规划的硬件实验表明该协议具备实际可实施性。
推荐理由:论文提出多机器人去中心化实时规划协议 WarpWeaver,并在仿真与六机器人实机上给出与集中式离线规划器的对比结果。
SCOPE 是一个自动生成多样化且可执行的任务与运动规划(TAMP)数据集的框架,通过规划执行失败作为反馈信号回溯修正场景图中的逻辑不一致。该框架引入多级多样性指标以提升场景信息熵,实验显示其对错误场景图更稳健、生成数据质量更高。用 SCOPE 数据微调的下游 TAMP 模型成功率比用 DELTA 生成数据微调的模型绝对提升 12.33%。
作者提出一种在线可细化语义建图框架,通过概率点级置信度更新持续修正物体表示。每个物体点维护置信度分数,结合多视角时序证据抑制错误与过时点,并配合物体跟踪与重识别在移动和移位时保持实例身份。实验显示建图精度较此前方法在 Replica 上提升 3.46%、在 ScanNet 上提升 2.55%,用于物体导航和具身问答的成功率分别为 82.4% 和 76.7%。
作者提出 SkeLAM,一种骨架引导的潜动作模型,用于可控机器人世界建模,将潜动作分解为由机器人骨架监督约束的运动学分量和保留其余视觉动态的残差分量。在 DROID 上,SkeLAM 相比 DreamDojo 将末端执行器 ADE 降低 19.5%、LPIPS 降低 11.1%。
推荐理由:论文把机器人运动学分量从潜动作中分离出来,为世界模型的可控生成提供了一种可迁移的建模思路。