研究:物理参数偏移下的因果世界模型
该预印本研究了物理条件偏离训练分布时世界模型预测精度下降的问题,区分了预测器可用哪些输入以及机制如何计算这些输入的影响两个层面。在带捷径特征的合成基准中,由配对干预得到的冻结依赖掩码把分布外 RMSE 从全连接预测器的 1.769 降至 0.697,接近生成器 oracle 掩码的 0.694。
推荐理由:论文在 CausalWorld 中比较不同质量参数注入方式对分布外预测的影响,为世界模型的因果结构设计提供可迁移思路。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
该预印本研究了物理条件偏离训练分布时世界模型预测精度下降的问题,区分了预测器可用哪些输入以及机制如何计算这些输入的影响两个层面。在带捷径特征的合成基准中,由配对干预得到的冻结依赖掩码把分布外 RMSE 从全连接预测器的 1.769 降至 0.697,接近生成器 oracle 掩码的 0.694。
推荐理由:论文在 CausalWorld 中比较不同质量参数注入方式对分布外预测的影响,为世界模型的因果结构设计提供可迁移思路。
PHD-Hand 提出一种连杆驱动的人形灵巧手,每根手指至少具备3个驱动自由度(DOA),借助柔性铰链和弹簧钢弹性驱动杆简化传动,无需大量微型运动部件,可用预算级3D打印机加工。作者称该设计降低了灵巧人形手的使用与开发门槛,并让手部尺寸更接近常人手掌。论文还给出样机在抓取与物体操作上的评估,以及运动学与控制方面的最新发现。
RoPT 是一个面向视频的鲁棒 6DoF 物体位姿跟踪框架,作者称其把视觉感知、时序运动学与全局重定位耦合成闭环,以应对快速运动下的跟踪发散。视觉部分通过跟踪物体掩码处理部分和严重遮挡,运动学因子图则约束帧间更新、预测前向位姿并驱动多假设并行验证以避开局部极小。作者在多个挑战性基准和真实机器人演示中报告,快速运动下的跟踪存活率显著更高。
推荐理由:论文把视觉感知、时序运动学与全局重定位耦合成闭环,用于应对快速运动下的位姿跟踪发散,可供机器人交互感知研究参考。
SLoSa 是一个神经符号压缩与微调框架,用于训练小尺寸、低功耗且具备安全意识的机器人任务规划基础模型。该框架先用经典规划器、教师大模型和形式化验证器构建安全数据集,再经监督微调与由验证奖励机引导的强化学习微调。
推荐理由:论文给出小尺寸规划模型在 PDDL 任务、家用仿真与桌面机械臂上的成功率与功耗数据,可对照大模型本地部署的资源约束。
HyperDrone 是一个面向高性能批量渲染的四旋翼仿真器,作者称其速度超过现有先进批量四旋翼仿真器 20 倍以上。它结合优化的多旋翼动力学与光线追踪引擎 HyperLux,支持 Nvidia OptiX、Vulkan、Apple Metal 和 WebGPU 后端,可渲染 RGB、深度、语义/实例分割、表面法线和光流,并在消费级 GPU 上达到数百万帧每秒。
推荐理由:论文给出比现有批量四旋翼仿真器快 20 倍以上的渲染方案,并把纯仿真训练的偏航控制策略迁移到 Crazyflie 实机。
COWBOY 是一个可扩展的 sim-to-real 框架,用于学习情境化全身操作,在全身灵巧抓取任务上零样本迁移到数百个物体和杂乱桌面、货架、抽屉等非结构化场景。
推荐理由:论文给出把场景感知全身控制器与局部强化学习专家蒸馏为单一视觉策略的 sim-to-real 框架,可参考其分层训练思路。
研究对比奖励层、优势层、损失层与PCGrad聚合在两种人形控制框架中的表现,用偏好奖励响应性(PRR)结合覆盖度与效用指标评估。没有哪种聚合层级在所有环境和标准下都最优:早期聚合行为响应范围更广,但其他目标的非预期变化更大;后期聚合提升控制精度,但响应性有所下降。
作者提出 Context-Aware Navigation Explanation 框架,用大语言模型为辅助机器人解释导盲犬式的避障与导航动作,并将感知上下文与规划的未来轨迹结合生成自然语言解释。系统部署在 Unitree Go2 平台的室内导航场景中,评估不同解释上下文配置对用户信任和解释满意度的影响。结果显示解释满意度与信任呈强正相关,且将障碍物信息与未来轨迹结合的解释效果最好。
研究提出一种适用于非线性非凸动态博弈的通用学习框架,利用已执行可行轨迹构建采样联合安全集和各玩家代价函数,每个时间步由智能体共同选择采样终端状态及到达该状态的广义纳什均衡,仅当满足玩家约定的协作接受规则时才采纳新解。框架支持个体不退化要求及加权代价、纳什议价等选择准则,并证明递归可行性、刻画各玩家代价随迭代不增的条件。
MIT 等机构作者提出 Flexible Feature Editing Pipeline(FLEX),用语言模型根据自然语言纠正迭代编辑机器人内部任务特征表征,包含添加缺失特征、泛化已有具体特征、屏蔽无关特征三种操作。
推荐理由:论文提出用语言模型迭代增删与泛化任务特征的表征编辑流程,并在导航、Franka 操作与真人语言纠正实验中比较不同编辑方式。
inr2action 提出参数空间记忆框架,将每个机器人片段拟合为神经隐式表示,其权重增量作为记忆,大小不随片段帧数变化。学习到的投影器把权重增量映射为 token 嵌入,用于语言模型问答和关节指令回归解码,查询时无需检索原始帧。在 RoboMME 上,语言模型在所有问题类型上超过随机水平,解码器平均 R² 为 0.51;将权重增量替换为匹配噪声后性能下降 11.4 点,随机初始化的权重无法解码。
Real2Sem2Real(R2Sem2R)提出从真实到语义再到真实的流程,把一段单目人类演示RGB视频转成同一类别多个语义物体实例上的数千条机器人演示。
推荐理由:论文用单段人类RGB视频生成跨语义实例的机器人演示,并在两台实机四类任务上与遥操作数据训练的VLA策略对比。
T-WLA 提出一种世界-语言-动作架构,用共享视觉记忆同时指导动作生成与触觉修正。每次视觉更新时,视觉分支把当前图像、任务指令和检索到的历史整合为视觉记忆,用于生成基础动作;同一记忆被缓存给轻量触觉编辑器,结合当前动作块与触觉输入预测未执行动作的残差修正,无需重跑视觉分支。
推荐理由:论文提出用共享视觉记忆驱动轻量触觉修正器,避免视觉策略重算带来的延迟,可供接触密集操作研究比较。
VeriCalib将外参标定建模为可验证估计问题并输出标定状态,指出拟合残差在同一批观测上计算,无法判断结果是否可接受。它用结构化协方差联合传播相机与LiDAR标靶特征不确定性,并按残差估计方差分量,解耦旋转与平移以定位各方向精度、引导补采最弱方向数据。方法还引入视内与跨视检查及外参最小可检测偏差,在未知噪声水平下保持显著性水平。
Nuo Chen 等人提出一种将鲁棒力旋量观测器与位姿-力混合控制器结合的无传感器物理人机交互框架。该方法用神经网络补偿系统摩擦与未建模动态以提升观测器性能,并通过任务零空间分解分离关节速度、降低人类扰动对观测器的影响。实验结果显示该框架在保持位姿与力跟踪性能的同时给出力旋量估计,作者称其可应用于没有力/力矩传感器的机械臂平台。
Nuo Chen 与 Ya-Jun Pan 提出一套人机交互框架,用元学习训练的神经网络识别人处于主动引导还是被动跟随状态,不再依赖预设切换阈值。作者称把控制器中与力相关的参数纳入识别后,被动模式识别率从 90.1% 提升到 99.1%,主动模式从 79.8% 提升到 97.1%。
NVIDIA 等机构的研究者提出 Joints, Camera, Action! 模型,可为任意给定骨架同时生成视频与可重放的 3D 运动,并估计相机把运动配准到场景。
推荐理由:论文提出将3D运动与视频生成分离建模,支持任意骨架并恢复相机位姿,为机器人视频数据转可重放运动提供思路。
AdaDex 是一个目标条件强化学习框架,能把数秒的单条手-物轨迹(来自动捕或野外 RGB(D) 视频的 HOI 重建)转化为可泛化的灵巧技能。其核心 Hybrid Dexterous Mimicking 在两类大规模并行环境上训练共享策略:密集运动跟踪环境注入人类先验,带噪声初始状态与稀疏物体成功奖励的泛化环境迫使技能脱离参考轨迹。
推荐理由:论文提出混合模仿与目标条件强化学习框架,把数秒人手轨迹转成可泛化的灵巧操作技能,并给出跨仿真器与实机迁移结果。
UniWALM 提出统一世界-动作-语言模型,在单一混合Transformer骨干中联合学习视频、动作与语言,各模态既作条件信号也作监督目标,并在同一次解码中输出子任务与文本记忆,无需独立规划阶段。
推荐理由:论文把视频、动作与语言放进同一混合Transformer骨干联合生成,并给出记忆依赖任务与实机对比数据,可供比较统一建模路线。
IndustrialRemembr 提出面向机器人车队的共享时空记忆系统,扩展 NVIDIA ReMEmbR,仅在需要时生成场景描述以降低服务端计算。每台机器人用 NVIDIA Jetson 将视频片段编码为检索嵌入、视觉 token 和重建潜变量,不上传原始相机画面。
推荐理由:论文给出机器人车队共享时空记忆的端侧编码与按需解码方案,并报告缓存 token 解码与未拆分模型输出一致。
作者提出 Planning Under Noise(PUN),一种学习噪声感知价值场的神经算子,用于在未见几何环境中进行规划。该方法在障碍物上施加反射 Neumann 边界条件、在目标处施加 Dirichlet 条件,并扩展 Monte Carlo 求解器 Walk on Stars 到更高维,从部分收敛的噪声标签中学习几何到价值场的映射。
PhysCanvas 是一个面向接触密集机器人操作的视觉触觉世界模型,将多视角 RGB、触觉图像、标记位移、任务状态与动作统一到同一视觉空间,并共享视频 VAE 与预训练生成骨干。
推荐理由:论文把视觉与触觉统一进世界模型,并给出世界模型成功率与真实任务的相关性数据,可用于比较策略评估方案。
研究提出耦合视觉-运动重映射方法,将全景方位扭曲与上肢偏航逆变换配对,用于第一人称人形机器人遥操作,并实现Global Zoom(GZ)与Focus+Context(F+C)原型。在N=8的被试内研究中完成72次试验,GZ完成数最高(23/24;Fixed为20/24,F+C为21/24),但6/8参与者更偏好F+C,该样本中完成率与偏好指向不同映射。
AgenticRoboRL提出一种跨不同机器人执行框架后训练规划器的框架,训练方案结合监督微调与多轮强化学习。为适配VLA技能调用和控制代码生成等不同执行机制,该方法用框架专属适配器把记录下来的规划器交互与任务结果关联起来,同时保持执行组件固定。
推荐理由:论文提出跨不同机器人执行框架的规划器后训练方法,并给出LIBERO-PRO上9B规划器成功率从18.1%升至71.0%的对比。
SceneRig 是一个智能体系统,可将单张图像重建为可编辑、可直接用于仿真的3D场景。它结合几何、视觉与物理工具,并在物理仿真器内执行编辑与验证循环以获得物理稳定性。作者称,相比基线方法,SceneRig 在实例分割、物体外观和3D摆放上有所改善,其场景能更准确地预测真实机器人策略结果,并更可靠地支持已录制操作在无需轨迹适配的情况下回放。
推荐理由:论文提出从单张图像重建可仿真场景的智能体系统,并给出下游机器人策略预测与操作回放的对比结果。
Kelvin Aladum 与 Nisar Ahmed 提出 MAPLE,一种无需训练的预测式室内探索方法,将蒙德里安过程改造为以当前部分地图中已观测几何线索为条件的在线生成先验。
CoGaussian 提出一种基于高斯的开放词汇协同语义占据预测框架,把场景表示为与基础模型对齐的稀疏3D高斯,用于多智能体间几何与语义信息的通信和融合。作者指出,现有协同语义占据方法依赖稠密3D体素标注且只能识别预定义语义类别。在 Semantic-OPV2V 基准上,该方法优于现有的开放词汇单智能体方法。
REACT 是一个从人人演示中学习可部署人形机器人交互策略的框架,把语义接触结构作为连接演示处理、交互学习与机载控制的监督信号。其中 VLM 引导的接触建模与重定向流程识别人人交互中的语义接触并迁移到人形机器人几何上,特权交互策略借助接触奖励学习行为后,被蒸馏为仅用机载传感的自我中心深度策略,并引入生成式伙伴状态建模以应对遮挡。
推荐理由:论文给出从人到人形机器人接触迁移并蒸馏为机载深度策略的完整流程,附仿真与Unitree G1实机结果。
SuperMimic 提出用单一可微世界模型摊销人形机器人全身运动跟踪的学习,世界模型与跟踪策略在同一循环中联合训练,并通过短时想象 rollout 的反向传播为策略提供解析梯度。
推荐理由:论文用单一可微世界模型摊销多动作学习,给出与基线在GPU耗时和失败动作数上的对比,并报告在Unitree G1上的迁移。
CLOSER提出证据感知的主动验证框架,把物体目标导航中的停止决策当作闭环证据采集,将视觉语言模型验证与主动感知结合。该框架微调开源VLM,把候选目标在各帧的视图标注为目标、非目标或不确定,用基于嵌入的多样性门控挑选互补视图,再由轻量网络融合各视图概率;若融合判断仍不确定,扩散策略仅依据跟踪掩码和深度驱动智能体靠近候选目标,直到判断明确。
推荐理由:论文把停止决策改写为闭环证据采集,用VLM多视角验证加扩散策略主动靠近,为ObjectNav误检问题提供可迁移方法。
作者提出 FRDV(Fast Retargeting with Dynamics Validation),一个由快速约束运动学重定向和动力学校验两阶段组成的人形机器人运动重定向框架。
推荐理由:论文给出快速运动重定向与动力学校验两阶段流程,并对比 GMR、ProtoMotions 的跟踪成功率,可供人形机器人学习数据管线参考。
论文提出 MARE(Modular Autonomy and Rendering Environment),一个基于 Unreal Engine 5 和 ROS 2 的开源月面巡视器感知与自主仿真套件。
推荐理由:论文给出月面巡视器仿真器的三组件构成与阴影真值验证指标,可供做低光照感知与自主导航的研究者参考。
研究提出 GPT-as-Tactile-Policy,将专家演示总结为任务指引和触觉参考,由 GPT-6-Astra 结合多模态观测与交互历史生成控制指令,无需额外机器人专用预训练或逐任务策略微调。在五项 UniVTAC 任务上平均成功率为 93.8%,Insert Hole 任务中触觉反馈将成功率从 31% 提升到 99%。执行分析显示模型能依据接触反馈进行试探与纠正。
推荐理由:论文用接触丰富操作任务检验通用多模态模型能否借触觉反馈调整动作,并给出与专用策略的对比结果。
研究在 Idealworks 的 iw.hub 实机上评测 NVIDIA X-Mobility 与 COMPASS 导航策略训练流程,并用 NVIDIA Cosmos 生成仿真到现实变体。
推荐理由:在 Idealworks 实机上对比数字孪生与 Cosmos 增强训练,给出成功率与耗时差距,可作为 sim-to-real 评测参考。
论文提出TaskWAM,一个闭环、阶段感知的世界-动作模型框架,用Mode Tokens表示细粒度任务要求、用State Tokens跟踪执行进度,以缓解长程操作中局部合理但方向错误的推演导致的阶段混淆。
推荐理由:论文提出阶段混淆问题并给出TaskWAM与StageBench,可用于比较世界-动作模型的长程任务控制方法。
作者提出 SPAR(Search-trained Push Action Ranker),从仿真搜索结果中学习为推挤基元排序,用于可移动障碍物导航(NAMO)。
推荐理由:论文用仿真搜索结果为推挤动作排序,在仿真与实机上对比随机搜索,可看学习排序如何降低规划开销。
作者提出 Reinforced Iterative Learning Control(RILC),将迭代学习控制(ILC)与强化学习(RL)并发耦合,使弹性关节机械臂在模型不确定下跨不同轨迹实现快速适应与有保证的跟踪收敛。
论文系统评测了 GPT-6 Astra 在轻量智能体执行框架下的闭环机器人操作能力,在 RoboDojo 上成功率为 26.92%,在 RoboTwin 2.0 上为 76.0%。
推荐理由:论文用五个基准和新增几何约束基准系统评测 GPT-6 Astra 的闭环操作能力,并指出语义推理与物理执行之间的差距。
论文提出 Safe Wrapper 算法,在机器人用入站链路数据更新状态时,基于各机器人异常检测器输出的信任值流,用 Safe Anytime-Valid Inference 筛选出可信链路子集。
研究指出,推理增强的驾驶 VLA 能感知并推理安全关键危险,却未能把危险信息转化为安全动作,作者将这一现象称为感知-动作绑定缺口。基于匹配的仿真反事实和驾驶日志回放,研究发现路径内危险确实被编码进视觉表征,但纵向规划主要由自车速度历史主导,对危险距离和模型自身推理轨迹响应很弱。
推荐理由:论文用匹配仿真反事实与实车日志回放,把驾驶 VLA 的危险感知与制动控制分开诊断,并给出不改权重的生成时引导方案。