研究:目标误泛化中策略对齐的三种失败深度
论文研究目标误泛化中目标信息在智能体内部丢失的深度,覆盖八个视觉导航与操作任务,包括机器人控制。
推荐理由:论文在八个视觉导航与操作任务中追踪目标信息在策略内部的留存深度,并据此区分可修复与需重训的失配情形。
技术方向
与机器人感知、决策和物理交互直接相关的仿真进展
123 条精选近 30 天 121 条共收录 239 条
论文研究目标误泛化中目标信息在智能体内部丢失的深度,覆盖八个视觉导航与操作任务,包括机器人控制。
推荐理由:论文在八个视觉导航与操作任务中追踪目标信息在策略内部的留存深度,并据此区分可修复与需重训的失配情形。
作者提出WNM-3D,一个面向连续视觉语言导航(VLN)的生成式世界导航模型,用冻结的前馈几何编码器从单目RGB历史提取跨视角表示,再经可训练的3D Scene-to-Token Adapter转为定长场景前缀,通过块因果注意力在联合去噪中持续提供给世界-动作Diffusion Transformer。
推荐理由:论文把3D场景几何作为持续条件注入世界-动作扩散模型,并给出GN-Bench与VLN-CE上的对照结果,可供比较世界模型路线。
该预印本提出一个 real-to-sim-to-real 框架,通过代理辅助逆向设计与不确定性引导修正,把生物曲线转成线驱动模块化软体机器人的构型。学习得到的前向代理模型把形变预测时间从 1.53×10^5 ms 降到 0.0008 ms,约 1.9×10^8 倍加速;逆向设计时间从 1.99×10^6 ms 降到 4.18 ms。
推荐理由:论文给出用学习代理模型替代物理建模做软体模块机器人逆向设计的思路,并报告了加速比与重建成功率。
作者提出 CALM(Cooperative Aerial Learned Manipulation),一种让多架无人机协同携带篮筐、跟踪移动地面机器人的分散式控制器。
推荐理由:论文给出多无人机协同吊运篮筐的分散式控制方案,并与机械臂基线在位置和姿态误差上做了对比。
研究提出 MOVER,一个多阶段 Teacher-Assistant-Student 强化学习框架,用于人形机器人物体搬运。该方法先用 GENMO 和 GMR 重定向视频数据并做数据增强,再分三阶段训练,最后用 Dagger-PPO 蒸馏去掉本体位置观测和参考关节位置,使部署策略依靠机载 RGB-D 相机感知物体位姿。
推荐理由:论文给出从视频数据到实机部署的三阶段强化学习框架,可用于比较人形机器人搬运策略的空间泛化路径。
OmniDex提出可扩展的seed-and-filter策略,构建了包含超260万场景和0.4B场景特定抓取真值的杂乱场景灵巧抓取基准。研究同时提出OmniDex模型,通过Soft Winner-Takes-All学习、类人物理约束训练和物理驱动排序,避免后优化延迟。实验称该模型在多样场景、视角和未见物体上取得state-of-the-art性能与较强泛化。
推荐理由:论文同时给出260万杂乱场景抓取数据集与OmniDex模型,可用于比较仿真数据规模与灵巧抓取泛化路线。
EmbodiRSI 是一个在真实到仿真再回真实流程中做递归自改进的智能体系统,用任务专属仿真作为低成本环境迭代改进策略后再迁回物理世界。在三个桌面环境和 14 个子任务上,经过两轮 RSI 更新,场景均衡的自主仿真成功率从 50.4% 提升到 83.5%。
推荐理由:论文给出真实到仿真再回真实的递归自改进流程,并对比少量真实数据与大量真实演示的适配效果。
作者提出 SALT(State-Affine Latent Transition),一种动作条件的状态仿射潜空间动力学模型,动作同时调制状态变换与加性更新,并以递归多步 rollout 监督训练。
推荐理由:论文把多步 rollout 误差拆成单步误差与传播项,并据此提出状态仿射转移模型,为视觉规划中的递归误差提供可迁移的分析视角。
So Kuroki 等人在 arXiv 预印本中提出把完整闭环机器人实现当作可复用的执行经验,由编码智能体从少量成功演示生成策略代码,并用仿真反馈迭代改进。在 RoboCasa 的四个源任务上,成功率从初始生成代码的 28.3% 提升到验证筛选代码的 64.2%,该方法还在 Unitree G1 实机上做了验证。
推荐理由:论文把闭环策略实现当作可复用经验,用 RoboCasa 四任务与九个迁移任务的对照数据说明源码优化与跨任务迁移的关系。
Arsh Chawla 与 Rahul Shome 提出 RE4 框架,用操作模式理论检索并变换演示数据,以可解释的四步流程完成物体交互模仿学习。该框架包含模式感知的演示检索、模式感知变换,以及保持模式约束并连接检索点的重规划步骤,最终返回变换后的演示用于 rollout。
推荐理由:论文把操作模式理论用于演示检索与变换,在仿真基准和实机实验中检验可解释策略的鲁棒性。
AffordSim 是一个将开放词汇3D可供性预测集成到仿真轨迹生成中的数据生成器与基准,可根据自然语言任务描述合成场景、生成可供性查询并采样区域条件抓取,再用运动规划筛选可执行候选。
推荐理由:论文给出将开放词汇3D可供性预测接入仿真轨迹生成的数据生成器与50任务基准,可用于比较可供性感知操作的数据构建方式。
作者提出对齐增量三平面Transformer(ADTT),一种紧凑的4D占用世界模型,用自车运动补偿显式对齐历史三平面,并只预测未来场景变化。模型在对齐先验上用查询条件Transformer预测残差变化,其中自车运动查询引导可控未来运动、可学习外部查询捕捉自车运动之外的场景变化,预测变化叠加到对齐先验后解码为未来占用场景。
推荐理由:论文提出用自车运动对齐历史三平面、只预测场景残差变化的紧凑占用世界模型,可用于比较自动驾驶场景预测的算力取舍。
DexSuite 是一个基于 Genesis 模拟器的开源一体化灵巧操作仿真框架,提供 30 个任务,并把 10 种机械臂与 12 种末端执行器(从平行夹爪到灵巧手)组合成 100 多种单臂机器人和数千种双臂组合。
推荐理由:该框架把机械臂、末端执行器、任务、遥操作与触觉仿真整合进同一套开源环境,并给出基准与示范数据集。
作者提出Gym-Anything for Robotics框架,让编码智能体创建机器人仿真,以缓解仿真构建依赖专家、难以规模化的问题。他们依据美国GDP数据挑选覆盖有经济价值体力工作的场景,定义良好仿真与任务的标准,并设计对抗式创建-审计循环逐项检查。基于该流程构建的RoboWorld包含25个仿真,以及难度不同的25个测试和175个训练强化学习环境;最好的前沿模型在所有RoboWorld测试任务上均失败,平均奖励仅0.06。
推荐理由:论文提出用编码智能体自动生成机器人仿真环境,并给出25个仿真与200个RL环境的基准结果,可供比较仿真规模化路径。
作者提出BURGER,一个语言条件机器人绘画基准,并提供可在仿真和真实世界生成连续绘画轨迹的提示驱动流水线。研究用282个绘画任务、28200条仿真演示评测5个代表性VLA模型,分析数据规模、语言落地和多模态行为,发现不同模型呈现不同失败模式。团队还将训练策略部署到Franka Panda机械臂,展示在人工干预下进行反应式绘画。
推荐理由:该预印本用绘画任务构建语言条件机器人基准,覆盖282个任务和5个VLA模型,便于比较不同模型的语言落地与动作生成失败模式。
AcrossDEX 1.0 是一个连接人体运动预训练、仿真专家学习、机器人演示采集与视觉闭环执行的学习系统,支持六通道 Inspire 手和十六关节 Allegro 手两种本体。
推荐理由:论文给出跨两种灵巧手本体的统一适应流程,并比较直接回归、扩散与流匹配在开盖和物体重定向任务上的成功率。
论文提出将LLM监督者在线蒸馏为决策树,并用反事实回放为每次训练回合后的恢复动作打上必要、不必要或有害的标签,以淘汰无用规则。在仿真中20个仅靠MPC会卡住的未见布局上,该决策树在所有随机种子下至少正确处理18个,或到达目标,或在无可行路径时求助。其表现与始终查询LLM的监督者和专家设计规则相当,且测试时不发起任何LLM查询。
推荐理由:论文把LLM监督者在线蒸馏成决策树,用反事实回放标注恢复动作,为移动机器人卡死问题提供可迁移的监督设计思路。
Xinyuan He 等提出一个分层三阶段框架,用于运动学与触觉对齐的灵巧手重定向,以物体为中心的接触力旋量空间作为人手与机械手之间的触觉对齐物理表示。框架先对齐手部运动学与接触几何,再根据触觉力与接触几何构建人手力旋量支撑剖面,随后优化机器人指尖力目标以覆盖该支撑并转换为关节位置修正,得到可直接回放的机械手轨迹。
推荐理由:论文提出以物体接触力旋量空间对齐人手与机械手触觉信息的三阶段重定向框架,并在实机倒水任务中报告96.7%回放成功率。
SimTO-Robust 提出一种仿真驱动拓扑优化方法,通过模拟多物体、多位姿抓取并聚合接触力来指导软体夹爪形态优化。研究生成 6,646 个设计,并实机评测其中 24 个,与 10 个专用 SimTO 设计、两个刚性基线夹爪及一个常规拓扑优化通用软体夹爪对比。
推荐理由:论文把多物体、多抓取位姿纳入拓扑优化,并给出37个夹爪的实机抓取对比,可作为软体夹爪形态设计的方法参考。
Shota Nomura 等提出 Smooth Action Chunking,将轨迹段表示为平滑基函数的线性组合,在不改变策略架构、训练目标和推理流程的情况下生成平滑轨迹。
推荐理由:论文把运动基元表示嵌入动作分块,在不改策略架构与训练目标的前提下同时缓解块内与块间抖动,并给出免重训的推理期修正。