GlanceWAM提出稀疏测试时想象的世界动作模型
Linhan Wang等人提出GlanceWAM,将视觉想象与控制解耦在同一个视频DiT主干上,由异步提议器在后台以慢时钟生成单帧前瞻画面,动作头在潜空间中按控制频率解码动作块,单块时延48 ms(A100)。
推荐理由:论文把视频想象移出控制关键路径,在共享DiT上异步生成前瞻帧,为世界动作模型的时延与成功率权衡提供了一种可迁移思路。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
Linhan Wang等人提出GlanceWAM,将视觉想象与控制解耦在同一个视频DiT主干上,由异步提议器在后台以慢时钟生成单帧前瞻画面,动作头在潜空间中按控制频率解码动作块,单块时延48 ms(A100)。
推荐理由:论文把视频想象移出控制关键路径,在共享DiT上异步生成前瞻帧,为世界动作模型的时延与成功率权衡提供了一种可迁移思路。
作者提出WNM-3D,一个面向连续视觉语言导航(VLN)的生成式世界导航模型,用冻结的前馈几何编码器从单目RGB历史提取跨视角表示,再经可训练的3D Scene-to-Token Adapter转为定长场景前缀,通过块因果注意力在联合去噪中持续提供给世界-动作Diffusion Transformer。
推荐理由:论文把3D场景几何作为持续条件注入世界-动作扩散模型,并给出GN-Bench与VLN-CE上的对照结果,可供比较世界模型路线。
作者提出 HumiTransfer 框架,将野外人人交互视频转换为物理合理的人-人形机器人交互动作,并据此构建 HumiMimic 数据集。该数据集覆盖 26 自由度 Unitree R1 Edu 与 23 自由度 HighTorque Mini-hi 两款机器人,由 1200 段视频生成约 50 万帧交互数据。
推荐理由:论文提出从野外人人交互视频迁移到人形机器人的框架,并构建约50万帧数据集,可用于比较跨本体动作迁移方法。
论文提出一种两阶段吸引域(RoA)认证流程,用基于收缩的稳定性分析确定目标集,再做基于Taylor模型的可达性分析,从而在运行时按上下文构建安全RoA,并在多个高保障控制器候选间安全切换。
研究提出 MOVER,一个多阶段 Teacher-Assistant-Student 强化学习框架,用于人形机器人物体搬运。该方法先用 GENMO 和 GMR 重定向视频数据并做数据增强,再分三阶段训练,最后用 Dagger-PPO 蒸馏去掉本体位置观测和参考关节位置,使部署策略依靠机载 RGB-D 相机感知物体位姿。
推荐理由:论文给出从视频数据到实机部署的三阶段强化学习框架,可用于比较人形机器人搬运策略的空间泛化路径。
EmbodiRSI 是一个在真实到仿真再回真实流程中做递归自改进的智能体系统,用任务专属仿真作为低成本环境迭代改进策略后再迁回物理世界。在三个桌面环境和 14 个子任务上,经过两轮 RSI 更新,场景均衡的自主仿真成功率从 50.4% 提升到 83.5%。
推荐理由:论文给出真实到仿真再回真实的递归自改进流程,并对比少量真实数据与大量真实演示的适配效果。
作者提出Spike-MPPI,一种受运动神经元启发的MPPI提议分布,通过共同随机驱动招募运动单元池、经抽动核滤波产生稀疏且时间连贯的扰动。在仿真中的足式运动与Franka FR3机械臂操作任务以及实机上评估,Spike在所有任务中产生最平滑的执行指令,包括与频谱匹配的高斯提议对比;平面消融显示共同驱动是所测运动池机制中对平滑度贡献最大的部分。
So Kuroki 等人在 arXiv 预印本中提出把完整闭环机器人实现当作可复用的执行经验,由编码智能体从少量成功演示生成策略代码,并用仿真反馈迭代改进。在 RoboCasa 的四个源任务上,成功率从初始生成代码的 28.3% 提升到验证筛选代码的 64.2%,该方法还在 Unitree G1 实机上做了验证。
推荐理由:论文把闭环策略实现当作可复用经验,用 RoboCasa 四任务与九个迁移任务的对照数据说明源码优化与跨任务迁移的关系。
论文提出免训练测试时纠错框架RTCF,通过渐进记忆对齐(PMA)为冻结VLA策略检索成功轨迹,并在动作块运动通道上迁移系数裁剪的低频残差,高频成分与夹爪决策仍由原策略给出。
作者提出 Anchor-Align,在行为克隆微调 VLA 时加入视觉语言锚定与语言动作对齐两个目标,以缓解预训练表征被覆盖和语言动作错位问题。视觉语言锚定从冻结的 VLM 副本逐层蒸馏表征,语言动作对齐把每个动作目标转成离散运动方向标签,并在同一机器人观测上联合训练语言与动作预测。
推荐理由:论文针对行为克隆微调会覆盖预训练表征的问题,提出表征锚定与语言动作对齐两项训练目标,并在单臂与双臂实机上评测。
论文提出一种参数化消息传递算法,用于分布式协同定位,将高斯置信传播用于机器人状态估计、平均场近似用于噪声推断。方法直接优化置信的自然参数,并设计基于归一化流的梯度估计器实现可学习采样,端到端训练按消息传递行为调节归一化流参数,同时扩展到李群空间以处理旋转。
作者提出一种安全关键的激光雷达惯性里程计(LIO),基于新的流形上集合隶属滤波,为机器人提供确定性保护水平。研究采用未知但有界假设,推导出迭代最近点算法中点云噪声与估计不确定性之间的闭式关系,并据此设计流形上椭球集合隶属滤波(OM-ESMF)并集成进 LIO 系统。实验结果显示,该系统能为多种机器人在不同环境中提供有效的确定性在线安全参考。
推荐理由:论文把未知但有界假设引入激光雷达惯性里程计,给出可在线计算的确定性保护水平,为机器人导航安全评估提供一种可迁移的滤波思路。
作者提出开源低成本桌面社交机器人平台 M,目标是降低社交机器人研究的复现、改造与部署门槛。M 采用模块化机械设计、多模态感知和机械结构简单的表达驱动,配套 ROS2 原生软件包,将感知、表达控制与数据管理分层,并提供与硬件接口一致的仿真环境以支持交互行为的 sim-to-real 迁移。
OmniVIC 提出一种由视觉语言模型增强的通用变阻抗控制器,从图像和自然语言推理任务上下文并生成自适应阻抗参数。其核心是自改进的检索增强生成与上下文学习,从结构化记忆库检索相似历史经验,并结合实时力/力矩反馈把交互力约束在安全阈值内。作者称在仿真和实机复杂接触任务上优于基线,平均成功率从 27% 提升到 61.4%,力违规减少;该工作已被 IEEE Humanoids 2026 接收。
推荐理由:论文把视觉语言模型的上下文推理接入变阻抗控制,并给出仿真与实机任务的成功率对比,可供关注语义推理与柔顺控制衔接的研究者参考。
一项预印本研究在宇树 H1-2 上考察期望手腕位置的构造方式如何影响计算出的机械臂关节角是否触及限位。重建目标由演示的手臂方向和机器人连杆长度构成,其肩到腕距离取决于演示的段间夹角;可达归一化目标保留方向并重新缩放距离,两者使用同一批处理后的演示和同一关节角方法。
PhysVLMM 提出一种为视觉-语言-运动地图中每个铰接部件维护物理信念并回答规划器查询的方法,包含地图更新与查询两个算法。该方法把拉动方向保留为后验而非点估计,并将每次拉动的证据以闭式形式传递给地图中未被触碰的相似部件,还能在给定风险下回答动作是否成功或选择弃答。
推荐理由:论文在18个真实家庭的门和抽屉上验证关节类型识别与拉动响应预测,并给出与可微仿真在误差和速度上的对比。
作者提出 DAWN(Diffusion-based Alignment and unfastening Workflow Network),一个面向真实世界拆螺丝任务的分层机器人框架,将流程分为对齐插入与拧出两个阶段。
推荐理由:论文把拆螺丝长程任务拆成对齐插入与拧出两阶段,并在 Franka 实机上验证,可供接触密集操作研究参考。
作者提出BURGER,一个语言条件机器人绘画基准,并提供可在仿真和真实世界生成连续绘画轨迹的提示驱动流水线。研究用282个绘画任务、28200条仿真演示评测5个代表性VLA模型,分析数据规模、语言落地和多模态行为,发现不同模型呈现不同失败模式。团队还将训练策略部署到Franka Panda机械臂,展示在人工干预下进行反应式绘画。
推荐理由:该预印本用绘画任务构建语言条件机器人基准,覆盖282个任务和5个VLA模型,便于比较不同模型的语言落地与动作生成失败模式。
作者提出HiFOR,一个带动作引导世界检索的分层预见框架,用于视觉-语言-动作模型。该方法通过分层依赖掩码联合预测短期状态演化、语义里程碑和最终目标状态,并用结构感知潜在世界建模与动作引导因子化世界检索为动作生成提供针对性引导。作者称在两个仿真基准和六个真实机器人操作任务上验证了方法有效性。
推荐理由:论文把短期状态、语义里程碑与最终目标纳入统一分层预测,并用动作引导检索未来信息,可供VLA策略设计参考。
TouchBridge 提出硬件与软件协同的人到机器人数据转换框架,通过可穿戴人类演示接口与对应机器人接口建立视觉和指尖触觉的跨本体对应。其 Tac-Retarget 方法以实测接触对齐指尖接触区域,无需物体网格、位姿估计或物理仿真即可完成重定向。
推荐理由:论文给出触觉条件重定向的人到机器人数据转换框架,并报告四类实机接触任务的成功率与采集效率对比。
Humanoid Dodgeball 提出一个面向人形机器人敏捷动态避障的强化学习框架,通过威胁感知奖励塑形和多个方向特定的对抗运动先验,让机器人对飞来的抛射物做出全身躲避动作。作者称仿真与硬件实验显示,该框架在不同障碍速度和发射距离下提升了动态避障表现,同时保持稳定且物理可行的人形运动。
推荐理由:论文给出人形机器人躲避高速抛射物的强化学习框架,可用于比较动态避障中的奖励设计与运动先验。
PASA-KV 提出一种针对世界动作模型(WAM)内部视觉 K/V 通路的攻击方法,并在多个 WAM 系统和一台实体机器人上验证了闭环攻击效果。研究发现表征可扰动性与闭环脆弱性存在明显错配,扰动幅度更大并不必然导致更强的控制失效。作者将这一错配归因于动作条件读出机制,并用短探针信号 Tail-AV 识别脆弱通路,再据此选择动作面向的 K/V 目标训练任务共享攻击。
论文提出 Surrogate Uncertainty 方法,用外部代理贝叶斯模型估计黑盒视觉语言模型在视觉定位中的逐查询不确定性,并分解为偶然与认知两部分。该方法通过跨输入模态的分层检索构建紧凑联合空间邻域,可结合保形预测或基于模型的规划实现主动视觉定位。作者称在多个定位基准和先进VLM上校准与任务表现均有提升,并在真实 Fetch 机器人上按开放世界指令在自信行动与信息收集间做取舍。
推荐理由:论文把黑盒VLM的视觉定位不确定性交给外部代理贝叶斯模型估计,并在真实Fetch机器人上验证主动定位的取舍。
Xinyuan He 等提出一个分层三阶段框架,用于运动学与触觉对齐的灵巧手重定向,以物体为中心的接触力旋量空间作为人手与机械手之间的触觉对齐物理表示。框架先对齐手部运动学与接触几何,再根据触觉力与接触几何构建人手力旋量支撑剖面,随后优化机器人指尖力目标以覆盖该支撑并转换为关节位置修正,得到可直接回放的机械手轨迹。
推荐理由:论文提出以物体接触力旋量空间对齐人手与机械手触觉信息的三阶段重定向框架,并在实机倒水任务中报告96.7%回放成功率。
SimTO-Robust 提出一种仿真驱动拓扑优化方法,通过模拟多物体、多位姿抓取并聚合接触力来指导软体夹爪形态优化。研究生成 6,646 个设计,并实机评测其中 24 个,与 10 个专用 SimTO 设计、两个刚性基线夹爪及一个常规拓扑优化通用软体夹爪对比。
推荐理由:论文把多物体、多抓取位姿纳入拓扑优化,并给出37个夹爪的实机抓取对比,可作为软体夹爪形态设计的方法参考。
Shota Nomura 等提出 Smooth Action Chunking,将轨迹段表示为平滑基函数的线性组合,在不改变策略架构、训练目标和推理流程的情况下生成平滑轨迹。
推荐理由:论文把运动基元表示嵌入动作分块,在不改策略架构与训练目标的前提下同时缓解块内与块间抖动,并给出免重训的推理期修正。
ScheduleGen 是一种面向多臂机器人模仿学习的规划与调度算法,用于从少量源演示合成新演示并规避多臂约束带来的不安全行为。在 28 个仿真任务变体(含 7 个外部 RoboDojo 任务)上,其平均数据生成成功率为 79.6%,训练出的策略平均成功率为 65.5%,优于所对比的数据生成基线。
推荐理由:论文提出面向多臂约束的演示生成规划与调度算法,并在仿真与真机迁移任务上给出成功率对比。
Utility-WAM 针对世界动作模型(WAM)中预测未来引发的动作偏移提出修正方法。
推荐理由:论文拆解世界动作模型中预测未来带来的动作偏移,指出精度任务上的负迁移并给出残差适配器修正方案。
ProLoop 是一个进度感知闭环框架,从期望状态与执行状态之间的结构化关系显式推导子目标进度,再由学习到的 State-Relation Monitor 判断关系并聚合为进行中、偏离或完成。在 AgentBoard ALFWorld 和真实机器人平台上的实验显示,整体成功率提升 12.94%,Hard 任务提升 15.46%,环境交互次数减少 32.3%。
推荐理由:论文提出用状态关系显式估计子目标进度,并在仿真基准与实机平台报告成功率与交互次数变化,可供长程任务规划研究比较。
OpenFlyV2 是一个统一的机载视觉-语言-动作架构,用共享视觉-语言表征在单一模型中支持语义理解、语言定位感知、空间推理与连续空中控制。紧凑动作专家将多模态上下文转为短时域航点,运动感知时序记忆与动作先验降低闭环执行计算开销;作者构建约 7 万条导航轨迹和 6 万对视觉-语言指令-响应的仿真数据集。
推荐理由:论文给出机载 VLA 在 Jetson Orin NX 上以 10 Hz 闭环飞行、零样本迁移到真实四旋翼的结果,可供比较机载与离板方案。
研究提出一种跨控制器迁移框架,让单一策略在上下文内适应不同控制器。该方法用指令动作与机器人实际运动的示例编码控制器下的行为交互,再由 transformer 上下文编码器汇总,使策略无需为每种控制器单独学习。实验覆盖六种控制器类型及控制器增益与柔顺性变化,实机结果显示平均成功率比朴素数据合并高 33 个百分点,在未见控制器模式上达到 50% 成功率,在未见控制器增益上达到 52%,并能迁移到控制器专属数据有限的任务。在 USB 插入、表面擦拭等接触丰富任务中,行为交互上下文使策略不仅调整动作,也调整策略。
推荐理由:论文给出跨控制器与跨本体的行为交互上下文编码方法,并报告实机成功率提升与未见控制器模式下的表现。
RAIBO-Wagon 提出一套面向四足机器人拖挂拖车的实时导航框架,将 Conditional Flow Matching 与基于学习前向动力学模型的 MPPI 控制结合,用 CFM 缓解 MPPI 的初始化问题并加速收敛,再由 MPPI 迭代细化以超出 CFM 训练分布寻找可行解。
推荐理由:论文给出四足机器人拖挂欠驱动拖车的实时导航框架,并在实机窄道场景报告成功率与负载数据。
Event2Reward 提出从机器人演示中学习奖励的方法,用归一化时间标签锚定进度尺度,并用轨迹内的停滞、回退与恢复关系约束局部变化,将进度预测作为奖励塑形的势函数。
推荐理由:论文用轨迹内的停滞、回退与恢复关系约束进度预测,为从失败执行中构建稠密奖励提供了一种可迁移方法。
EgoContact 是一个大规模第一视角数据集,用于通过未来接触点预测评估学习到的操作先验的泛化性与精度,包含 22.5K 条人工核验的交互事件,每条含接触前观测、语义意图和像素级接触位置。
推荐理由:论文给出2.25万条人工核验的第一视角接触点数据,并展示将其用作现有可供性迁移策略记忆库后抓取成功率的提升。
Qiyang Li、Sergey Levine 等提出 Data Inoculation(DI),一种共享控制数据采集框架:人类提供闭环遥操作指令,残差策略在线训练并扰动这些指令,使机器人接触更广的状态范围,人类的持续纠正则提供恢复演示。作者称在三个真实机器人任务上,DI 的成功率持续优于或持平行为克隆与离线 RL 训练的策略。论文为预印本,未给出任务细节与成功率分母。
推荐理由:论文提出共享控制的数据采集框架,用残差策略扰动遥操作指令,为机器人演示数据的覆盖问题提供可迁移方法。
Catch It All! 提出面向人形机器人的 sim-to-real 抓取框架,仅用一台自我视角相机即可完成上手与下手抓取,并泛化到未见物体。作者称策略可适应几何形状、可变形性、弹性等物理属性不同的新物体,并通过抓取奖励设计与安全感知课程支持接近硬件极限的高频动作执行,包括低至 5 Nm 的腕部力矩限制。
推荐理由:论文给出仅用单目自我视角相机、零样本部署于宇树 G1 的抓取框架,可用于比较动态抓取的泛化设定。
研究提出一种元学习图神经网络,利用物体的语义、几何与关系历史,从少量在线观测预测新环境中物体何时开始运动。该方法仅在仿真中训练,却能预判训练时未见的物体,并无需微调迁移到硬件,在仿真和硬件实验中优于一个视觉语言模型和类别频率基线。在闭环导航仿真中,其预测支持无碰撞通行,同时与最快但易碰撞的规划器相差不超过四秒。
研究团队提出基于 CUDA 的事件相机仿真器,将其接入可微仿真管线,使梯度可直接通过可微物理模型回传,从而端到端训练把事件帧直接映射为控制指令的策略,无需中间深度估计。作者在四旋翼上完成零样本实机部署,在有里程计辅助和无里程计两种设置下均实现避障,并覆盖传统相机通常失效的低光条件。该工作为 arXiv 预印本。
推荐理由:论文把事件相机仿真接入可微物理管线,省去深度估计中间环节,并给出四旋翼零样本实机避障结果。
Anoop Kiran 等人提出一种在级联控制架构中决定鲁棒控制应放在哪些回路的方法,全部控制均在飞行器上运行。他们通过反演运动方程从 PID 悬停飞行中恢复扰动信号,识别并量化被激励的轴,再在关键轴部署鲁棒控制。
研究提出一种带被动拖车的铰接履带车动力学模型,并在冰面上实验评估,其预测表现优于运动学基线。作者还提出混合动力学-运动学模型以适应不同路面和情境,并在无常规转向机构的单履带车上演示惯性转向:内部质量受控移动可在冰面产生转向,该行为可用所提动力学模型将内部质量视为无摩擦拖车来预测。