BM2PC:面向可变形线性物体动态操作的贝叶斯多模态MPC框架
论文提出BM2PC,一个用于可变形线性物体敏捷操作的贝叶斯多模态MPC框架,将多模态规划建模为集合优化问题,并加入执行动力学模型补偿快速操作中的执行偏差。在绳索跟踪与避障的仿真和硬件实验中,BM2PC在最长任务上把RMSE降低44.0%,避障性能与现有多模态MPC方法相当,规划时间减少29%至66%。
推荐理由:论文提出面向可变形线性物体动态操作的多模态MPC框架,并给出仿真与实机跟踪、避障的量化对比。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
论文提出BM2PC,一个用于可变形线性物体敏捷操作的贝叶斯多模态MPC框架,将多模态规划建模为集合优化问题,并加入执行动力学模型补偿快速操作中的执行偏差。在绳索跟踪与避障的仿真和硬件实验中,BM2PC在最长任务上把RMSE降低44.0%,避障性能与现有多模态MPC方法相当,规划时间减少29%至66%。
推荐理由:论文提出面向可变形线性物体动态操作的多模态MPC框架,并给出仿真与实机跟踪、避障的量化对比。
FORCA 是一个以视觉观测和腕部力/力矩测量为输入、为接触探测与力响应运动编写 Python 程序的编码智能体,无需演示、任务特定训练或仿真。它在五次实机任务中覆盖三类接触密集操作:提升操作精度、适应物体或表面属性变化、在表面变化与物体运动下调节接触。与同一智能体的纯视觉版本相比,FORCA 提升了抓取精度和任务成功率,并减少了擦拭与剥离中的接触丢失。
推荐理由:论文展示编码智能体如何结合腕部力/力矩反馈改写接触操作程序,为力感知策略提供可迁移的闭环思路。
SAGE(Semantic-to-Action Grounded Execution)是一个读-决策-执行-校验框架,用视觉语言模型的轨迹作为对完整几何候选路径的偏好,并通过排序融合结合几何分数与VLM轨迹一致性。
StackGen3D 提出一种基于给定积木清单与三张正交轮廓图生成稳定积木装配体的两阶段框架:先用物理信息图神经网络(PI-GNN)预测积木间支撑关系并筛选稳定结构数据集,再训练条件流匹配模型学习符合目标轮廓的积木配置分布。
该预印本提出用广义根轨迹扩展调和函数方法,为平面多边形障碍环境中的N个可互换机器人生成协调路径。经共形映射到圆域后,起点与终点成为有理函数R的极点与零点,路径即其广义根轨迹分支;在临界相位与边界相位之外的相位下,梯度运动使各机器人沿互不相交且不触及障碍的路径到达不同目标,机器人-目标分配由构造直接给出,并以增益作为时钟使所有机器人在指定时间同时到达。
论文提出去中心化实时规划器 WarpWeaver,通过分散式列生成让多机器人协商共享空间租金,在静止时给出近最优协议认证。在 Dynobench 仿真中,其总行程时间较集中式离线规划器最多降低 22%,较去中心化实时基线最多降低 37%,在图连通性任务上成功率接近任务专用规划器的两倍。六台机器人机载规划的硬件实验表明该协议具备实际可实施性。
推荐理由:论文提出多机器人去中心化实时规划协议 WarpWeaver,并在仿真与六机器人实机上给出与集中式离线规划器的对比结果。
SCOPE 是一个自动生成多样化且可执行的任务与运动规划(TAMP)数据集的框架,通过规划执行失败作为反馈信号回溯修正场景图中的逻辑不一致。该框架引入多级多样性指标以提升场景信息熵,实验显示其对错误场景图更稳健、生成数据质量更高。用 SCOPE 数据微调的下游 TAMP 模型成功率比用 DELTA 生成数据微调的模型绝对提升 12.33%。
作者提出一种在线可细化语义建图框架,通过概率点级置信度更新持续修正物体表示。每个物体点维护置信度分数,结合多视角时序证据抑制错误与过时点,并配合物体跟踪与重识别在移动和移位时保持实例身份。实验显示建图精度较此前方法在 Replica 上提升 3.46%、在 ScanNet 上提升 2.55%,用于物体导航和具身问答的成功率分别为 82.4% 和 76.7%。
研究提出一种稀疏拓扑度量图,作为室内导航的结构化表示,节点编码局部3D几何,距离加权边表示可通行连通性,并用学习到的图匹配网络跨会话寻找一致子图。在跨会话点目标导航实验中,该方法在Gibson上成功率为77.1%,在3D-FRONT场景变化下为40.0%,内存相比点级表示降低两个数量级以上。作者称该表示对局部场景变化、不同传感器模态和有限空间重叠具有鲁棒性,并支持跨会话对齐与目标导向导航。
推荐理由:论文提出稀疏拓扑度量图用于跨会话室内导航,在场景变化下报告成功率并大幅降低内存占用,可供比较建图与定位方案。
CoHelix 提出一种递归滤波器,为四个刚性安装的共面螺旋桨估计一个共享单应性和各自独立的旋转状态,每个被接受的事件更新所属旋转状态,其几何测量再修正共享单应性。
GelSlim 5.0 是一种指尖传感器,用单个固定相机和连续 UV 响应接触层,通过切换照明在同一视角依次采集透膜视觉图像与接触敏感触觉图像,从而避免多相机外参标定。
推荐理由:论文提出单相机指尖传感器与多模态融合方法,并给出12个已知物体上的实机对比数据,可供触觉感知研究参考。
论文提出Joint-CI,一种用于点特征、物体特征及混合点-物体地图的分布式右不变EKF SLAM统一融合方法。该方法在接收机器人的误差坐标中构造其位姿与公共特征的联合估计,保留机器人-特征和特征-特征相关性,再用部分状态协方差交集与本地后验融合。
研究提出一种扩展卡尔曼滤波方法,可同时估计IMU相对姿态与传感器位置,无需离线传感器位置标定,也不依赖全局朝向锚点。在OpenSense数据集四名受试者、三类下肢关节、步行及多种复杂任务的真实IMU测量中,该方法整体相对姿态误差为2.61°,使用离线估计传感器位置的基线为10.40°,使用标记点推导传感器位置的基线为7.43°。
研究比较多专家扩散轨迹规划器在未见区域是选择已有专家还是让规划器自身适应。在三个真实留出地图上,八种测试时路由方案均未改善车队平均横向偏移,优于静态默认;即使按场景选最优专家的 oracle 也只降低 0.9 m。
研究提出多模态进度残差融合模型MPRF,用操作指令、电磁跟踪和内窥镜视频预测柔性机器人内窥镜操作者何时回退。在150个回合的结肠体模数据上,MPRF三次随机种子平均AUPRC为0.580±0.007,最强降模态对照为0.511。作者称完整多模态历史是排序优势的主要来源,残差项带来的增量较小且不确定。
一项基于示教的机器人喂食框架将人类示教、动态运动基元运动规划、视觉场景感知与机器人控制集成,由操作者用动作捕捉系统记录勺子的位置与欧拉角姿态,轨迹被分割为舀取和喂食两段并分别编码。
研究对比了三种基于ChromaDB的语义检索路由策略与云端1200亿参数大模型在机器人工具选择任务上的表现,评测集为164条人工标注提示,覆盖单工具到需至少三个工具的复合请求。CDB-v3在纯检索方法中宏平均得分最高,为0.7822,大模型基线为0.8869。大模型路由质量更高,但CDB-v3延迟显著更低且可本地部署、无需云连接。
论文提出TRACE,一个面向地面机器人在非结构化森林环境中自主运行的可通行性感知反应式导航框架。它用正负自然语言提示集生成VLM置信图,经证据融合得到稠密可通行性地图,再提取可通行点并通过百分位分箱与样条或正则化多项式拟合得到左右边界,作为软约束加入NMPC。作者称在真实森林环境中的实验显示,TRACE能在杂乱、可变形和视觉歧义地形中平滑导航。
推荐理由:论文把VLM置信图与证据融合、NMPC软约束结合,为林间非结构化地形导航提供可迁移方法。
ProTrav提出一种概率地形表示,用函数空间采样生成空间相关的地形实现,并将高程不确定性传播到可通行性代价。方法先用稀疏变分高斯过程(SVGP)从观测重建概率高程场,再通过后验函数空间采样保留相邻位置的空间依赖,得到任意位置可通行性代价的均值与标准差,并以基于矩的上置信界(UCB)定义风险项接入MPPI控制器。
推荐理由:论文把高程不确定性经非线性映射传播到可通行性代价,并用风险项接入MPPI控制器,可供越野导航研究比较。
针对现有实际因果框架仅支持离散二值因果模型、无法刻画系统输入连续变化的问题,研究提出距离加权实际原因与距离加权责任度,使因果影响计入避免故障所需的变化幅度而非仅计数。基于该概念给出高效、系统无关的解释推导算法,以距离加权责任度引导解释搜索。在两个自动驾驶仿真器的多个环境中用黑盒神经控制器实验,结果显示该扩展比现有离散方法提供更有效的引导。
论文提出一种图像到操作的流程,在自主操作缝合线时同步生成缝合线的实时重建,并执行安全且优化的连续操作以完成长时序任务。作者指出,可变形缝合线没有固定位姿可跟踪、自由度近乎无限,其状态需要重新估计而非假定;缝合线操作又依赖过去与当前的接触点,必须被准确、连续地跟踪。
推荐理由:论文针对缝合线这类可变形物体提出边重建边操作的图像到操作流程,可供关注可变形物体操作的研究者参考。
作者提出GlobMP(Global Motion Planning),一种在分段多项式曲线上运行的梯度投影方法,将运动规划与引导统一为连续时间规划问题,使约束在运动全程而非采样点成立。
推荐理由:论文提出连续时间运动规划方法GlobMP,并给出全局收敛性分析,可用于理解学习策略与规划器之间的约束修正关系。
论文提出 CMAR-search 框架,基于常识与记忆增强推理(CMAR)构建功能化3D场景图 F3DSG,将环境组织为功能区域及其关联容器。该表示支持宏观区域与微观容器两级分层动作规划,并持续融合实时感知、累积记忆与常识,以应对物体被移动等环境变化。作者称在仿真与真实环境实验中,该方法在动态交互环境物体搜索的成功率和搜索效率上均超过现有基线。
作者提出 PATH-Net,一种偏好感知的分层可通行性估计网络,可为越野遥操作自适应生成偏好条件下的可通行性代价地图与速度曲线。该方法融合视觉与几何鸟瞰特征及短期历史车辆状态,用最大熵逆强化学习和稀疏速度监督推断代价地图并优化速度建议,再通过非对称特征聚合把操作员偏好拆入代价分支与速度分支。
作者提出在线锚点中心场景推理系统 OASIS,用稀疏锚点节点统一存储语义描述、视觉特征与几何状态,支持在线建图、复杂开放词汇检索和导航。系统复用导航中采集的瞬时观测,对场景变化后移动的物体重新定位,并以紧凑记忆按需提取证据、做分层检索。仿真与真实环境实验覆盖标准检索基准及静态、动态导航任务,结果显示其可完成开放词汇检索与导航并重定位位移物体。
研究在CARLA仿真风险汇入场景中评估将基于知识图谱嵌入与贝叶斯推理的车道变换预测接入自动驾驶决策的效果,预测模型可提前约3-4秒预判周边车辆变道。反应式驾驶在代表性记录中发生碰撞并伴随急减速,而基于预测的纵向与横向策略均避免碰撞,碰撞前峰值减速度分别降低31.5%和91.0%。研究还用基于ISO 2631-1的水平振动估计给出乘坐舒适性评估。
研究提出一套集成感知与控制系统,可在CT孔径内完成呼吸门控的自主针插入。实验显示系统能跟踪并预测患者呼吸周期、执行自主呼吸门控进针,并检测呼吸周期异常。作者指出,当前CT引导肺活检高度依赖人工,需要患者屏气、反复手动进针和多次CT确认扫描,自动化有望减少手术时间、患者不适与辐射暴露。
PhysiCalWorld 提出通过上下文提示将动作条件世界模型校准到实例特定动力学,无需微调或解析物理建模。该方法把在测试场景中采集的探索交互片段编码为紧凑的物理描述符 token,仅用潜在预测损失端到端训练,不使用物理标签;推理时描述符只提取一次,可在多次 rollout 中复用。
研究提出一种主动感知框架,让高自由度移动操作臂在导航过程中用机械臂手部相机检查不确定或安全关键区域。该方法用概率化的物体与任务感知下一最佳视角(NBV)公式优先观察期望路径附近及可能变化的物体,并集成到分层任务模型预测控制(HTMPC)中,利用运动学冗余调整视角同时保持基座轨迹跟踪的更高优先级。实机测试显示,相比被动或非任务感知基线,该方法提升了地图一致性、降低了任务相关地图熵和导航风险。
RangeNav 提出一个仅 183k 参数的 LiDAR 距离图像编码器,完全在合成数据上预训练,用于移动机器人导航。该方法采用各向异性卷积和循环填充处理距离图像的极端长宽比与方位接缝,并以距离重建、语义分割和 BEV 预测组成的导航对齐目标预训练后冻结用于策略学习。
推荐理由:论文给出仅183k参数的LiDAR距离图像编码器预训练方案,并对比不同监督目标对导航成功率的影响。
OMAR 提出一套开放世界多属性推理流程,让机器人在没有预设物体词表和物体-容器对应关系的情况下,推断货架的隐含组织方式并摆放新物体。方法先用视觉语言模型给出标签及内容、包装类型等属性,经分割、深度和多视角关联完成跨视角实例定位,构建实例级3D场景图,再由LLM推理摆放排序,最后做几何与运动学可行性检查。作者称实验在实例映射和摆放一致性上优于单视角语言定位与纯几何基线,可自主摆放此前未见过的物体。
推荐理由:论文提出用视觉语言模型与LLM推理货架隐含组织规则,为开放世界物体摆放提供可迁移的推理流程。
研究区分故障分析的两类目标:复现(找出足以重现故障的条件)与规避(找出阻止故障所需的改变),指出现有基于充分解释的因果方法只支持复现。作者在实际因果框架下形式化必要解释,提出基于因果责任的近似算法,并在多个环境中评估效率,通过反事实生成展示其在故障规避上优于现有方法。
CausGround 是一个非参数化的因果交互接地框架,把交互经验提炼为以动作为中心的因果知识,用于具身规划。它识别动作前置条件与效果,并以分解式世界状态表示组织物体属性和物体间关系,规划时把任务相关因果依赖接地到当前观测,支持前置条件的反向推理与效果的正向推理。
推荐理由:论文把交互经验整理成可复用的动作前置条件与效果知识,并在仿真基准和实机操作上给出对比结果。
DriveMLP 提出以专家引导强化学习(EGRL)训练轻量 MLP 策略,在 nuPlan Val14 Reactive 基准上取得 86.51 分,比此前最佳模仿学习规划器 Flow Planner 高 3.2 分,推理速度提升超过 15 倍。研究通过受控实验发现,训练流程而非模型规模与复杂度贡献了相当一部分性能提升。代码已在 GitHub 开源。
作者提出Reading the Room(RR),一种全局到局部的方法,用于把尺度不确定的稀疏语义VSLAM地图配准到部分建成的楼层平面图。其核心是定义一个可微、类别平衡的语义几何能量函数来统领整个流程,并提供两种全局初始化方案:利用单个不准确的用户对应点,或用跨模态匹配网络全局估计。
作者提出 ContactFlowFilter,将流匹配生成模型嵌入粒子滤波框架,用于估计机械臂的接触数量、位置与力向量。该方法仅依赖关节力矩传感器和基座力/力矩传感器,以粒子滤波的递归结构处理时序依赖,用流匹配模型作为辅助提议分布跟踪多模态信念并检测接触事件。仿真与实机实验显示,实机单接触和双接触场景误差分别为 0.36 cm 和 0.88 cm,运行耗时为 0.69 ms 和 2.69 ms。
研究提出 SERA(Self-Evolving Robotic Agent),把高层 VLM 规划器组织为可编辑 harness 以维护任务上下文,底层由固定的 VLA 执行器控制。
针对上肢假肢设备视觉抓取管线在多物体场景下难以区分目标的问题,研究提出在硬件中加入激光指针实现物体消歧,并配合混合现实策略复用已有高质量分割掩码程序化生成逼真图像,对识别可抓取部位的深度卷积网络重新训练。实验结果显示,该管线相比现有方案将目标消歧准确率最高提升9%,同时保持计算开销不变。
A2I-Calib++ 提出一种运动学驱动的抗噪主动标定框架,用于足式机器人机体多IMU系统,可在无需人工标定靶标、无需对目标IMU做复杂参数调优的情况下估计时间偏移、外参旋转平移与惯性零偏。
PRISM 提出一种基于物理的深度噪声建模框架,将单一噪声解耦为传感失效与测量不准两类模态,并借助 3D 视觉基础模型特征做空间语义先验推理。作者称其在噪声深度合成基准上达到当前最优保真度,下游机器人实验在真实世界取得 92.1% 平均成功率,优于单一噪声建模基线。项目页面见 https://shawnleung-sii.github.io/prism-icml2026/。
推荐理由:论文把深度噪声拆成传感失效与测量不准两类物理机制,为仿真到现实的感知建模提供了一种可迁移思路。