GEMS:结合持久 3DGS 地图与智能体推理的长期时空记忆框架
GEMS 提出一种面向半静态环境的长期时空记忆框架,将持久 3D 高斯泼溅(3DGS)地图与智能体推理流程结合,地图只重建一次,之后仅在场景变化区域更新并保存这些修改。
推荐理由:论文把持久 3DGS 地图与智能体推理结合,并配套 GEMS-Bench,可用于比较机器人长期时空记忆方案。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
GEMS 提出一种面向半静态环境的长期时空记忆框架,将持久 3D 高斯泼溅(3DGS)地图与智能体推理流程结合,地图只重建一次,之后仅在场景变化区域更新并保存这些修改。
推荐理由:论文把持久 3DGS 地图与智能体推理结合,并配套 GEMS-Bench,可用于比较机器人长期时空记忆方案。
SceneBloom 是一个结合视觉布局采样与契约引导 3D 编译的智能体框架,用于生成逼真、多样且可直接仿真的室内环境。其分层采样器利用扩散先验在功能区内生成家具布局,编译器再依据提案中提取的关系进行几何拟合与局部位姿修正。
推荐理由:论文提出用智能体框架生成仿真就绪的室内场景,并给出与真实房间分布及导航策略迁移的对比结果。
RobustRLlib 是一个以算法为中心的鲁棒强化学习库与基准,将17种代表性在线、离线与安全强化学习算法整合到统一接口,以提升算法复用性。该工作还提供覆盖多种真实世界偏移以及人形机器人和视觉-语言-动作任务的评测平台,并在273种扰动配置上系统评估,给出当前鲁棒强化学习算法的能力图谱,指出仍存在明显鲁棒性差距的场景。作者称其开源且可复现、可扩展。
DexPort 是一个面向高自由度机器人灵巧手的手持数据采集接口,采集与部署使用同一套手部硬件,并记录指令关节目标与实测关节状态。操作者移动手持接口指定机器人腕部运动,再选择或调整技能来协调手指动作,无需逐关节控制。作者在4类真实任务上采集超过2500条演示,用行为克隆直接训练视觉运动策略;使用记录的机器人指令替代关节状态时成功率从11%提升到64%,使用野外数据时任务成功率从36%提升到78%。
推荐理由:论文提出用手持接口采集高自由度灵巧手数据,并给出4类任务的成功率对比,可供比较遥操作与人体演示两条数据路线。
ViT-H 提出一种生成加跟踪的视频到人形机器人控制框架,用扩散模型直接从视频生成人形参考动作,绕过人体动作重建与重定向,并用运动跟踪结果以直接偏好优化后训练生成器。
推荐理由:论文提出绕过人体动作重建与重定向的视频到人形控制框架,并用下游跟踪反馈后训练生成器,可供比较现有流水线。
研究团队提出16B统一具身模型RynnUnify,通过交错的视频-语言推理把具身理解与长程视觉规划结合起来。实验显示其在所评估统一多模态模型中取得最高具身理解平均分,Rynn-VP总分比Cosmos 3 Nano高9.75分;经强化学习的智能体扩展使Rynn-GEU平均分比直接推理高6.0分。
推荐理由:论文给出16B统一具身模型在理解、视觉规划与真机控制上的分项结果,可用于比较统一模型与专用方案。
研究提出一种由OCT引导、从用户示范学习并用闭环OCT反馈执行的软组织形状控制框架,比较全容积、组织掩膜稀疏容积和体素化点云三种表征,以及确定性Explicit策略与生成式Diffusion策略。
推荐理由:论文比较三种OCT三维表征与两类策略在软组织形状控制中的表现,并给出体模与离体组织的误差数据。
Backtrack 是一种面向冻结 VLA 的轻量失败检测与恢复机制,无需恢复演示、策略重训或推理时额外模型。它用仅基于冻结策略带结果标签 rollout 训练的小型失败预测头读取 VLA 内部表示,预测失败概率超过阈值时暂停策略、回退机械臂近期运动并交回原策略重试,该头仅增加策略参数量的 0.48-0.88%。
HoloBoxing 提出一种基于预训练全身控制器的人形机器人拳击学习配方,将可复用运动技能与任务决策分离。紧凑规划器输出未来身体点目标,冻结的控制器负责关节级执行,学习到的解码器把 32 维动作映射为结构化目标窗口,并用实测状态模仿初始化规划器,再以强化学习优化交互行为。
研究探讨联邦学习与VLA策略适配的交汇点:跨任务、环境、人员和机器人本体共享源自人类纠正的适配更新。作者指出,提升平均任务成功率的共享更新可能压制罕见安全干预,或在另一台机器人上产生不安全响应,并提出三项要求:保留多模态纠正的上下文与不确定性、在接收机器人闭环中评估候选更新、同时评估安全关键证据的泄漏与保留。文章给出反例与可证伪的评估议程,不含实验结果。
作者提出正则化强化学习算法 Soft MellowMax Actor-Critic(SMM-AC),基于 soft mellowmax 值函数,并研究常用 RL 算法在仿真到现实迁移中的表现。
推荐理由:论文提出基于 soft mellowmax 值函数的正则化 RL 算法 SMM-AC,并在实机上与 PPO、SAC 等基线对比迁移鲁棒性。
作者提出去中心化 LiDAR-Radar-Inertial Odometry(LRIO)框架,融合激光、FMCW 雷达与惯性传感,用于 GPS 拒止且受烟雾、粉尘影响的地下环境位姿估计。
作者提出动作感知量化方法,用视觉语言模型把长程轨迹拆成物体级子任务并分配加权动作信用,并据此构建 800 小时以上训练视频数据集和含 19,618 个人工校准评估帧的长程进度基准 LOOM。
推荐理由:论文提出动作感知量化与 NimCritic 进度评论器,并公开 800 小时视频数据集与 LOOM 基准,可供长程操作进度建模参考。
论文提出 VERID,一个面向自动化实验室的持久高保真语义数字孪生基础设施,用于衔接 AI 智能体的高层推理与湿实验的物理现实。VERID 提供四项核心服务:可供智能体推理的可查询内省、用于协议验证的时间压缩仿真、完整实验记录的追踪持久化,以及安全执行框架。
AWARE 是一个世界模型框架,仅通过外部摄像头监测、估计系统动力学并预测状态来实现异常检测,无需电机编码器等机载传感器。研究在240条真实机器人起重机轨迹上评估,涵盖负载碰撞与电机退化,在噪声条件下仅用摄像头做状态估计时,异常分类比最强基线提升26%。推断出的动力学参数还可解码用于定位故障来源,识别退化电机的准确率为88%。
研究评估条件神经过程能否自主学出可反映动作潜在目标的动作表征。在隐空间加入注意力机制后,模型能在动作序列观察早期形成稳健的目标表征,被视为面向机器人自监督通用学习器的候选模型。
首尔大学团队提出从大规模演示数据学习速度先验,为机器人演示重定时。给定任务指令、运动路径及沿途图像,该先验预测路径上的执行速度分布,取选定分位数作为统一时钟;单个训练好的先验可覆盖语料库中所有任务,无需为每个新任务重新拟合或标注。
推荐理由:论文提出从大规模演示数据学习速度先验,为每条演示统一重定时,并给出仿真与实机对比结果。
研究提出面向纯视觉自动驾驶车辆的鲁棒无偏移模型预测控制(OF-MPC)框架,用于高速大曲率弯道下的车道保持。数值仿真显示,基于插值管约束迭代线性二次调节器(itube-CILQR)的求解器平均计算时间低于5 ms,优于IPOPT和OSQP求解器。该算法随后在仿真环境的视觉车道保持实验中控制车辆,并用OF-MPC框架量化多任务UNet在训练未见交通场景中的感知不确定性。
作者提出增强滤波蒙特卡洛定位(AF-MCL),仅用四个单点测距传感器和实测航向实现室内无人机二维定位。方法会剔除与已知静态地图不一致的测距值,并自适应注入粒子以从定位发散和绑架问题中恢复,束分类只在上一位置估计处进行,使射线投射开销与粒子数无关。
论文提出面向 ROS 2 Nav2 的自然语言策略接口,由本地大语言模型把操作员指令转成 JSON 策略,指定目的地、空间约束和时间或事件条件,再经确定性检查与三个代价地图适配器接入现有导航栈,不改动规划器与控制器。
推荐理由:论文给出自然语言到 Nav2 策略的接口与验证数据,可供比较语言指令如何接入现有导航栈。
UAV-SwarmAgent 提出一种层级多智能体系统,操作员用一句自然语言下达任务,地面站智能体生成并执行代码,将其转化为每架无人机的航线。该系统用视觉语言模型在空中地图上定位巡检目标,按路线长度均衡分配给 N 架无人机,再由机上紧凑决策模型核验事件。
I-Tak Ieong与Hao Tang提出HGWM,一种分层图引导世界模型,通过类别条件房间-锚点先验与持久空间语义记忆完成零样本目标导航。粗阶段用视觉语言模型给候选朝向打分,细阶段将观测到的物体与关系同目标先验显式比对,再按阶段融合语言模型建议引导局部导航。
推荐理由:论文给出分层图引导世界模型在HM3D与MP3D上的零样本目标导航结果,并列出各组件消融幅度,便于比较导航方法。
Yonghyeon Lee 汇编编辑的讲义《Optimization, Optimal Control, and Reinforcement Learning for Robotics》发布,梳理优化、最优控制与强化学习在机器人学中的数学联系与实际相关性,内容为已有材料的整理而非新研究成果。
Ning Zhou 与 Edmund R. Hunt 在 arXiv 预印本中提出兼性集群(facultative swarming)统一控制框架,主张把集群能力视为一种动态能力而非固定的系统类别。该框架让系统在条件宽松时按集中式规划运行以追求最优性,在环境压力下平滑退化为去中心化集群以保持鲁棒性。作者认为这为兼顾集中式最优性与自组织灵活性的集体机器人系统提供了一条路径。
推荐理由:论文提出集中式规划与去中心化集群之间的可切换控制框架,为多机器人系统在环境压力下保持鲁棒性提供一种架构思路。
研究提出解剖锚定的模仿学习框架,将解剖引导的探头放置与学习式超声导航结合,用于自主机器人超声扫描。该框架先由外部视觉确定任务相关的解剖起点并建立初始探头位姿参考系,再由基于流的策略根据锚点相对位姿、超声图像、探头相机视图和接触力生成扫描动作,终止头预测任务完成。
推荐理由:论文给出解剖锚定的模仿学习框架与手持采集平台,并在16名未见参与者上报告成功率与跨机器人迁移结果。
CoCarry 提出一个协同搬运数据集,包含 21 种任务方案、5 种共享物体几何、4 类地形下的 220 条同步双人序列,约 61 分钟运动数据。作者同时提出 Contact-Support-Structured Retargeting,从单人标称动作出发,围绕同一给定物体轨迹联合优化两台人形机器人。
R²E 是一个角色驱动的奖励进化框架,用多个 LLM 角色自动设计强化学习奖励函数。其中 Explorer 负责提升新颖性以扩大搜索空间,Guardian 做保守修正以改善训练稳定性,Evolver 通过交叉和变异重组高性能奖励,动态调度策略让搜索从广泛探索逐步转向集中利用。
作者提出轨迹束图(GTB)方法,用于非线性、黑箱动力学系统的运动规划,将采样运动规划、轨迹优化与图搜索结合。GTB 基于工作空间的凸集图分解,迭代构建轨迹束图以刻画各顶点处的局部动力学,并在图上求解最短路,得到在极限下满足系统动力学及碰撞规避等约束的迭代解。作者称该方法可处理高度非线性、不稳定甚至黑箱动力学以及复杂碰撞与规格约束。
LogLook提出一种执行日志式记忆,让前沿视觉语言模型规划器保留执行记录与先前笔记,并自行决定查看哪些帧。在基准自带运动规划器下,它的成功率与仅用笔记的记忆相当,但token减少43%、图像用量不到一半,因记忆或观察失误导致的失败回合也明显更少;直接控制时在RoboMME测试集上解决93.5%。
推荐理由:论文提出面向前沿模型机器人规划器的执行日志式记忆,在RoboMME上以更少token和图像达到相近成功率,可供比较记忆设计。
DynaSlots 是一个无需动作标签的 3D 动态预训练框架,将每帧点云分解为少量时序一致的 slot,并在 slot 级别而非场景级别建模动态。它通过时序 slot 传播模块保持跨帧分配一致,用逆动力学模型从特征差异中提取每个 slot 的隐动作,再由扩散式前向动力学模型配合自监督交互头预测各 slot 未来状态。
推荐理由:论文把场景级动态预训练拆成逐 slot 建模,并在仿真与 RealMan RM65-B 实机上对比场景级基线。
MAST-VLA提出一种面向多技能机器人操作的双重条件框架,在LLM主干中引入技能条件化LoRA-MoE适配器,由技能查询token和路由偏置引导低秩专家分工,并把预测的可供性热图转为动作头的patch级轨迹可供性空间先验。
研究在24关节人形机器人上训练运动跟踪策略,并在独立CPU MuJoCo测试环境中评估指令延迟的影响。训练随机化下每个策略在30次试验中至少26次完成动作,但加入40毫秒恒定延迟后平均存活率降至15%(0%–45%),延迟裕度仅20–30毫秒。
推荐理由:论文用独立仿真测试量化了训练时随机化指令延迟对人形机器人运动跟踪策略延迟裕度的影响,并给出延迟范围应按实测延迟设定的建议。
研究在 Unitree Go2 四足机器人搭载 AgileX Piper 机械臂上部署 VLA 模型,实现闭环移动操作。作者报告了使实机部署可行的模型变体、动作时域和演示约定等选择,并针对抓放任务区分数据覆盖与模型容量。结果显示扩大演示覆盖使留出集末端执行器误差降低 30%,加入推而非抓等次级技能引入新行为模式且未降低基线性能。
北京通用人工智能研究院等作者提出 ReSPIRe,一种用于未知杂乱环境下目标搜索与跟踪(SAT)的信息化轨迹规划方法,论文发表于 IEEE Transactions on Systems Man and Cybernetics-Systems 第 56 卷第 2 期。
该研究将ARAIM解分离与保护级计算建立在紧耦合GNSS/IMU因子图优化的后验上,利用当前状态边缘化与Woodbury更新计算无故障、单星、星座级和二阶故障假设下的保护级,无需重复全状态求逆或图重优化。
RoboCode 提出一种共享软门控动作基元接口,把动作块表示为多个学习基元的软组合,而非单一离散编码。该接口在多个任务的动作块上学习后冻结,再训练任务特定的状态编码器映射到共享潜空间。在五个 ManiSkill 操作任务上,动作块平均重建 MSE 为 0.0187,闭环平均成功率为 75.6%,高于 ACT 的 68.8% 和 Diffusion Policy 的 41.6%。
推荐理由:论文提出跨任务共享的软门控动作基元接口,并在五个 ManiSkill 任务上给出重建误差与闭环成功率对比。
研究显示 OpenVLA 激活的稀疏自编码器(SAE)表征含有结果预测信息,可在机器人进入不可恢复状态前预测任务失败。作者还找出与成功或失败特定阶段相关的单个 SAE 特征,通过定位这些特征激活显著变化的时间区间来归纳重复出现的行为模式,并构建基于 VLM 的解释流程生成行为描述,在留出区间上验证其与特征激活的对应关系。
推荐理由:研究用稀疏自编码器解读 OpenVLA 激活,把失败预测与可解释行为模式联系起来,为诊断机器人策略提供一种可迁移的分析路径。
研究将机器人辅助穿衣表述为几何感知插入问题,用身体部位与衣物开口的空间关系替代完整可变形物体状态,并提出结合分阶段课程与逐指插入软门控的强化学习框架。训练后可变形评估中完整方法成功率为84.7±1.2%,消融显示插入门控贡献最大,叠加课程后得分最高。在假人手模型上,同一完整策略于实机20次试验中成功15次。
推荐理由:论文把穿衣任务建模为几何感知插入问题,并用消融实验定位插入软门控与课程学习的贡献。
TravSUITE 是一个面向越野高速导航的可通行性系统,由利用视觉基础模型构建几何语义局部地图的体素建图器,以及联合预测 BEV 几何、语义、速度与代价的统一神经网络组成。
推荐理由:论文给出无标注自监督的可通行性系统,消融显示代价学习与辅助修复各自贡献规划质量,并附实机风险适配实验。
一项 arXiv 预印本研究指出,流匹配 VLA 策略中数值求解器深度与执行时域存在耦合,且呈现符号反转:快速重规划时粗粒度积分降低精度,而在延长开环执行时反而明显提升任务表现。