CAPTURER:面向多环境动态精准抓取的灵巧空中机械臂
作者提出 CAPTURER 灵巧空中机械臂,用于在多种环境下实现厘米级抓取。系统包含机载感知与目标检测、漂移校正与全局位姿变换、协调飞行平台与机械臂的协同运动规划,以及补偿动态耦合、模型不确定性和外部扰动的抗扰控制器。室内外静态与移动目标实验显示,其在超过 1.5 m/s 的飞行速度下对直径仅 1.5 cm 的记号笔实现厘米级抓取精度。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
作者提出 CAPTURER 灵巧空中机械臂,用于在多种环境下实现厘米级抓取。系统包含机载感知与目标检测、漂移校正与全局位姿变换、协调飞行平台与机械臂的协同运动规划,以及补偿动态耦合、模型不确定性和外部扰动的抗扰控制器。室内外静态与移动目标实验显示,其在超过 1.5 m/s 的飞行速度下对直径仅 1.5 cm 的记号笔实现厘米级抓取精度。
Jiahe Wang等提出一种嵌入式形状感知框架,用IMU与执行器反馈经神经网络重建连续体机器人形状,以400 Hz提供形状反馈用于物理闭环控制。在一段与三段连续体机器人上训练超过5000个模型后,所选框架的全局形状误差分别为0.9%L和1.7%L;闭环控制中一段末端跟踪误差为6.1%L,三段形状控制全局误差为2.3%L,而使用相同未补偿测量的IMU-PCC重建则失败。
推荐理由:论文用IMU与执行器反馈重建连续体机器人形状,并给出闭环控制误差,可供受限空间机器人感知方案参考。
论文提出 RFWalk,一个仅依赖射频传感的自监督里程计框架,将距离-方位帧间的稠密对应建模为时空图上的随机游走,并通过时间循环一致性从无标注序列中学习。为排除循环一致但物理上不合理的对应,作者引入多普勒一致性损失,用射频传感器自身测得的径向速度约束对应关系诱导的运动,再通过鲁棒的 SE(2) 配准恢复自运动。
研究提出一种元学习图神经网络,利用物体的语义、几何与关系历史,从少量在线观测预测新环境中物体何时开始运动。该方法仅在仿真中训练,却能预判训练时未见的物体,并无需微调迁移到硬件,在仿真和硬件实验中优于一个视觉语言模型和类别频率基线。在闭环导航仿真中,其预测支持无碰撞通行,同时与最快但易碰撞的规划器相差不超过四秒。
研究团队提出基于 CUDA 的事件相机仿真器,将其接入可微仿真管线,使梯度可直接通过可微物理模型回传,从而端到端训练把事件帧直接映射为控制指令的策略,无需中间深度估计。作者在四旋翼上完成零样本实机部署,在有里程计辅助和无里程计两种设置下均实现避障,并覆盖传统相机通常失效的低光条件。该工作为 arXiv 预印本。
推荐理由:论文把事件相机仿真接入可微物理管线,省去深度估计中间环节,并给出四旋翼零样本实机避障结果。
Haotian Zhai 等人提出 AtomTree,一个用 LLM 做状态感知任务规划的分层框架,逐步构建子目标与动作树,由 LLM 依据当前符号状态决定继续分解还是输出接地的低层动作。框架包含轻量记忆模块复用过往结果,并在低层动作停滞时触发分层回溯重规划,从最新状态重新生成子树计划。在 ALFRED 基准的零样本评测中,AtomTree 表现优于此前的 LLM 规划器。
作者提出一种分层规划与控制框架,让低层控制器反向引导高层轨迹选择:顶层MPPI规划器不依赖显式代价地图,而是用预训练低层强化学习控制器的价值函数作为隐式代价,MPPI负责轨迹探索、价值函数引导搜索。
一项系统映射从4195篇文献中筛选出235项测量或缓解自动驾驶系统测试现实差距的研究,按六类测试组件区分仿真与实机执行。其中76%聚焦缓解,主要针对场景与参与者真实感及感知;仅61项报告覆盖多类指标的度量,且不足以建立差距与测试结论间的因果联系。研究据此呼吁按主张分别评估并做组件级报告。
研究提出TRIM,一种不修改、不重训检测器的轻量时序监控器,用于发现3D目标检测的漏检失败。TRIM用通道级统计概括中间激活,再以时序卷积网络处理短序列;在NuScenes上,相比单帧监控,AUROC从0.686提升到0.704,95%召回下的误报率从0.818降至0.759。早期与中间骨干特征提供的监控信号最强,时序推理头在CPU上仅需0.159 ms。
研究提出面向智能轮椅的多层导航系统MLNS,可在未知环境中解读并安全处理有限或错误的用户指令。该系统由ViSPF障碍检测、MPC轨迹生成、开放词汇视觉目标识别和优先队列目标选择组成,并在真实智能轮椅上由10名无残障参与者完成含故障输入接口场景的实验。
SpaceAct 是一个交互式基准,通过闭环物理动作与主动感知评测多模态大模型的3D时空推理,并配套提出 SAPA 时空主动探测智能体框架。基准基于积木与机械谜题构建,覆盖6类36个任务族共108个已验证实例,不提供特权坐标,并设有 +plan、+state、no-camera、blind、L7 levers 等诊断模式。
推荐理由:该基准用闭环物理动作和主动感知考察多模态模型的3D时空推理,并给出10个前沿模型的诊断性对比。
一项 arXiv 预印本研究提出面向零样本视觉语言导航的时空记忆系统,由 8B observer 总结观测、8B reasoner 依据任务、时序与空间三类记忆选择路点意图或请求新视角,再由几何控制器执行。
推荐理由:论文拆解零样本视觉语言导航中任务进度、观测历史与几何记忆各自的作用,并给出记忆消融与实机对比结果。
Chanyoung Park 等提出 Selective Compositional Diffuser(SCD),通过可达性度量处理组合式扩散规划中重叠片段平均导致的模式平均问题。
MATCH 是一个联合学习语言条件规划器与目标条件原子动作执行器的框架,用于连续环境视觉语言导航(VLN-CE)。它用执行感知拓扑图表示依赖起点的执行选项,并结合执行器价值估计与实际结果记忆,让规划器通过有界连续偏移细化执行请求。该模型以 0.5B 参数在 R2R-CE 和 RxR-CE 基准上取得 state-of-the-art,初步实机部署也展示了应用潜力。
推荐理由:论文把执行器能力纳入规划器训练,为连续环境视觉语言导航提供可迁移的分层强化学习方法。
HERON 提出用 3D U-Net 从实时深度相机预测障碍感知可达图,在 Jetson AGX Orin 上以 TensorRT 和 INT8 量化部署,平均 115 ms 预测机械臂周围 2.56 m 立方体区域,系统速率 8.57 Hz,接近障碍地图 10 Hz 的更新率。
推荐理由:论文给出嵌入式硬件上实时预测障碍感知可达图的方法与量化指标,可用于比较移动操作臂的在线重定位方案。
SKiD-SLAM 是一套面向行星探测的分布式多机器人 LiDAR SLAM 系统,作者在韩国完成两次野外部署验证。轮式漫游车在济州岛 Majang 熔岩管洞穴探索,四足机器人在涟川 KICT 的行星模拟地形执行陨石坑与岩石科学场景,系统在 250 kbps 机器人间通信预算内完成分布式多机器人 LiDAR SLAM。
推荐理由:报告给出分布式多机器人激光SLAM在250 kbps通信预算下的两次实地部署,可了解行星探测场景的资源受限方案。
针对全向逃逸者从 Reeds–Shepp 追捕者前向锥形视野中最小时间逃逸的问题,研究求解了速度比 ν>1、半角 0<α<π/2 的全部情形,给出逃逸时间的显式特征刻画与标量方程选根方法,并证明其为每个状态下非预期策略博弈的值。逃逸者在正面轴扩散线端点 E 之上沿通用线追击倒车的追捕者,追捕者最优策略沿用较慢情形的接力策略;水平集与半拉格朗日计算结果与博弈值进行了比较。
研究评估多种先进单目深度估计方法在分布外月球环境中的重建效果,使用NASA Ames POLAR立体数据集与Apollo 17月面影像,建立从模拟到实地的验证流程,分别对物理模拟真值做定量评估、对历史实地数据做定性评估。结果显示部分先进方法可泛化生成非结构化月表的高保真相对三维重建。
作者提出EARS-Info,这是事件驱动蚁群重分配搜索EARS的信息感知扩展,用于OpenStreetMap派生网格上的多机器人探索,融合边际感知增益、可行重定位、返回感知路由、感知预留与缓存最短路径。
TextRadar 提出从全景雷达观测构建场景级三维占据-语言场,使重建场景可用新描述进行查询。该方法用单帧雷达蒸馏模型预测对齐的距离与语言特征,并借助雷达估计位姿配准重建,在新场景中仅靠雷达完成建场。作者在七栋建筑约 2 万条同步观测上演示了场景级自然语言查询与免提示语义可视化,并发现相机到雷达的概念迁移在结构、材质和人体姿态上比颜色和印刷文字更一致。
GOFish 提出一种直接在鱼眼图像上训练的三维高斯泼溅表面重建方法,可渲染超过 180° 的视场并从同一场景提取对齐网格。在 200° FIORD 和 205° FullCircle 基准上,其 PSNR 分别比此前最佳方法提升 2.28 和 1.97 dB,并在 FIORD 与 ScanNet++ 主集上取得最高网格 F-score。
TACOS 提出一种基于腿式状态估计因子图残差的足步不稳定性评分,并将其投影到前序图像上,用于监督稠密视觉预测器。作者给出利用事后信息的硬评分和可即时获得的因果软评分两个变体,在 1716 个人工标注接触上与现有方法比较,两个变体的不稳定性检测与严重程度排序均优于所有对比方法,合并严重程度排序比最强基线提升 28%。
推荐理由:论文提出基于因子图残差的足步不稳定性监督信号,并在人工标注接触与户外实机测试中与现有方法比较。
研究团队采集了带标注的第一视角网球数据集,包含与五路第三人称视频同步的第一视角视频、估计的全局位置、标注的击球时刻和击球类型,并在其上训练和评测视觉模型。
RESPLE2 提出一种基于非均匀 B 样条的递归多传感器状态估计框架,用于 6-DoF 运动表示。该方法利用样条节点夹持边界性质,由惯性运动学直接预测控制点,并在迭代扩展卡尔曼滤波中用部分惯性测量完成预测,更新步骤按原始时间戳融合 LiDAR、相机、IMU 与腿部运动学。
推荐理由:论文给出惯性先验驱动的非均匀B样条多传感器里程计方法,并公开代码与实验数据集,便于对照多平台动态场景的估计精度。
StabBot 机器人管道对扣系统结合摆锤卡尔曼滤波、ResNet-18 关键点网络与残差强化学习策略,在 200 组随机作业中全部完成对扣,传统固定导向器为 74%。
推荐理由:论文给出管道对扣机器人在缩比仿真中的成功率与接触力对比,可用于了解学习策略与视觉定位在对接任务中的组合方式。
论文研究双臂工具使用中的机器人故障诊断,在仿真任务上按记录轨迹标注故障原因,测量各传感通道能让诊断器分辨出什么。工具滑脱可在工具手上读出,哪只手迟了需要双臂信息,单手传感器只能读出本手延迟和另一手至多部分延迟;当工具手迟到时,迟到的尝试是否同时推力不足无法从被动传感中辨识。
论文提出一种仅依赖通信基础设施分布式信道测量的框架,用于感知机器人视野外的被动实体并进行风险感知分类。测量数据经超维计算嵌入高维表示,无需显式信道重建即可学习。基于商用光线追踪的数值仿真和ROS验证显示,在严重遮挡下准确率最高达89%,并改善了路径规划与安全性。
论文提出一种受二战德军坦克问题启发的估计方法,用机器人化学传感器读数的运行最大值和采样计数估计气味羽流峰值浓度,从而判断气味源位置。作者推导了该无偏估计量及其置信界,将其转化为机器人或无人机决定是否继续搜索的终止准则,并展示了样本效率以及在假设失效时的稳健性。研究最后总结该估计量在嗅觉导航中作为终止判据的作用。
一个整合语音、视觉与触觉的多模态框架在虚拟现实中对18名参与者、5个社交互动场景生成机器人语音与动作,并与人工遥操作基线对比。参与者对自主系统的自然度与社交适宜度评分均高于中性中点,但遥操作基线在这两项上显著更高。行为编码与定性反馈显示,对话时机、澄清模糊请求和空间协调是差距的主要来源。
Parada、Yu 与 Angeloudis 提出 IntNet,一个将车辆意图传输与自适应通信调度纳入统一端到端学习范式的多智能体强化学习框架,用于协同自动驾驶。
针对海上数据中心面临的窄带对抗声源威胁,研究提出一种结合移动接收器与固定接收器组成锚点对的两阶段声学监视框架,先以锚点约束估计声源初始位置,再用粒子滤波联合跟踪位置与速度。蒙特卡洛仿真中定位成功率达91%,开阔水域10次实地试验中9次跟踪误差低于2米。
ScheNav 是一个示意地图引导的闭环具身导航框架,通过 SchemaField 空间模块把粗略示意引导与累积观测融合,预测空间价值场并据此做探索和停止决策。
推荐理由:论文给出从2D平面图生成导航训练环境的数据管线与闭环框架,可用于比较示意地图引导的导航方法。
研究者提出单参数点云配准方法TLP,用不同p值的截断Lp函数为对应关系分配优先级分数、选择假设并精化最终模型,以应对真实3D特征匹配中的高外点率。该方法借助GPU并行化评估假设,平均可在1秒内完成数千个对应关系的配准。在公开基准数据集上,TLP精度高于现有单参数方法,并在四个评估数据集中的三个上优于两种常用多参数方法,运行时间保持竞争力。
论文提出一种闭环自主腹腔镜控制框架,将实时手术阶段识别与相机运动补偿的视觉感知相耦合,利用手术实体间的阶段依赖关系改善遮挡、实体重叠和相机运动下的目标状态估计。在基准数据集上评估了手术阶段识别与目标跟踪,并通过体模实验展示自主视野控制在目标可见性和任务执行上优于固定视野控制。
该研究提出多普勒辅助的毫米波雷达非视距跟踪方法,将隐藏目标跟踪建模为连续位置-速度估计,在留出轨迹上取得8.95厘米位置误差和1.75厘米/秒速度误差。作者同时发布首个室内非视距雷达数据集,包含576段序列、共720,856帧,覆盖移动机器人12条不同速度、起点和材质配置的轨迹,并称方法可泛化到未见场景中的移动人体目标。
推荐理由:论文公开了室内非视距雷达数据集与位置-速度联合跟踪方法,可用于比较穿墙感知方案。
Yilong Chen 与 Yong K. Cho 提出一个仅用 LiDAR 的实时框架,从无标注演示中学习交互感知的路径修正,用于在工人附近作业的建筑机器人导航。
论文提出 Extended LASMP,将导航指令直接纳入采样分布,把子集采样推广到指令对齐区域,以提升四旋翼三维环境下的采样运动规划效率。方法用基于提示的大语言模型做实体抽取与指令校验,将自然语言指令落地为偏航条件和高度感知的几何约束,并保留概率完备性。复杂环境仿真显示,该方法生成无碰撞且一致的轨迹,相比均匀 RRT 类规划器显著减少采样量。
研究团队提出BEHAVIOR-Spatial基准,基于BEHAVIOR-1K测量空间问答、点目标定位与机器人动作,考察VLM空间理解与VLA行为的关系。基准包含49项活动的3256个空间问题、14项操作任务的1240个定位查询,以及覆盖这14项操作任务和10项导航任务的动作评估。
Yilong Chen 与 Yong K. Cho 提出基于激光雷达的实时时序施工场景图 T-ConSG,联合表示空闲区域、静态物体、动态物体和环境事件,并带有空间关系边与事件参与边。该框架从激光雷达几何证据增量构图,把累积空间证据的变化表示为显式的安装与移除事件。作者通过砌砖测试台的动态感知导航、ConSLAM 数据集上的施工进度监测和仿真施工环境中的在线变化检测三项应用研究进行演示。
论文研究建筑机器人点云分割在测试时遇到整区域遮挡时的表现,发现网络不只是漏检被遮挡构件,而是把它们重新标注,且错误集中到单一汇类。固定合成布局下该汇类吸收最多70%的测试点,随机布局下汇类转移到楼梯,预测占比为真实份额的4.5-5.4倍(三个训练种子),基线mIoU降至0.15-0.27(固定)和0.36-0.72(随机),单个测试集最多有269个完整物体消失。
推荐理由:论文揭示遮挡下点云分割会把整块构件错标为同一类,并给出几何特征补丁的对比结果,可供建筑机器人感知参考。