技术方向
与机器人感知、决策和物理交互直接相关的机器人学习进展
169 条精选近 30 天 167 条共收录 279 条
论文提出时空重定向方法 STR，用视觉语言模型选择相关运动信号与身体部位，并据此识别关键帧，把更多求解器迭代分配给关键帧、给选定部位更高交互权重。作者还提出 Mechanics-Aware Contact Anchoring（MCA）借助近似物体力旋量模型细化物体表面接触位置，并基于所得参考轨迹构建时空强化学习 STRL，结合自适应关键阶段采样与基于目标接近度的接触位置奖励。
推荐理由：论文用视觉语言模型挑选关键帧与关键身体部位来分配重定向优化预算，并给出仿真与实机验证，可供人形机器人全身控制参考。
论文提出 FRED 框架，通过自蒸馏让世界动作模型（WAM）在单步去噪中从噪声预测未来视频表征，并以真实未来观测提取的表征作为目标，同时用历史观测提供时间上下文。作者称在多种真实操作场景中 FRED 持续优于对比的 WAM，在零样本环境泛化的长时程与域外任务上提升明显。在仅有人类视频演示、未出现在机器人训练数据中的任务上，FRED 达到 50.0% 任务成功率，对比最佳 WAM 为 19.4%。
推荐理由：论文提出用自蒸馏提升世界动作模型的未来视频表征质量，并给出实机操作与人类视频迁移的成功率对比。
研究提出 AW-0，一个将代码规划与视频、动作联合预测结合的智能体世界动作模型框架，在统一的 mixture-of-transformers 架构中联合建模代码、未来视频和机器人动作三路生成流。
推荐理由：论文把代码规划与视频、动作联合预测放进同一架构，为世界动作模型补上技能复用这一环。
作者提出 ASTEROID，一个学生-教师监督学习框架，让学生先在不完全可观测下采集在策略上下文，再由特权专家基于该上下文给出动作标签，从而学会测试时探索。在 11 个环境（含离散探索基准、机器人操作、导航和 Procgen）中，该方法在固定探索预算下回报约为对比方法的 2 倍，交互次数比强化学习基线少约 100 倍。
推荐理由：论文提出用特权专家在策略上下文上标注的蒸馏框架学习测试时探索，并在仿真与实机操作中给出对比结果。
Osher Azulay 等人提出 RISE，一种让任务目标在推理阶段引导人形机器人起身方式的方法。该方法先学习连接预期动作与电机动作的恢复动作词表，再由视觉扩散规划器预测未来身体状态，并用任务代价把预测导向指定朝向、起身速度或路径，无需重新训练即可在测试时改变动作。仿真实验展示了多样化恢复、地形适应和测试时引导，并在宇树 G1 上给出实机演示。
推荐理由：论文提出在推理阶段用任务代价引导人形机器人跌倒后起身的动作选择，并给出仿真实验与宇树 G1 实机演示。
DONIC 是一个通用双手灵巧跟踪器，在操作类别与人体运动来源上联合训练，并配套发布 BiHOI 多视角数据集，包含 1575 段序列、229 个物体。方法将近端策略优化与行为克隆结合成反馈回路，把验证成功的执行回收为训练演示，并用以物体为中心的逐手奖励和 Clip-Centered Advantages 支持单一策略学习异构参考下的协调操作。
推荐理由：论文同时给出双手灵巧跟踪模型与1575段多视角数据集，并报告未见轨迹与未见物体上的成功率，可用于比较双手操作跟踪方法。
OMAR 提出一套开放世界多属性推理流程，让机器人在没有预设物体词表和物体-容器对应关系的情况下，推断货架的隐含组织方式并摆放新物体。方法先用视觉语言模型给出标签及内容、包装类型等属性，经分割、深度和多视角关联完成跨视角实例定位，构建实例级3D场景图，再由LLM推理摆放排序，最后做几何与运动学可行性检查。作者称实验在实例映射和摆放一致性上优于单视角语言定位与纯几何基线，可自主摆放此前未见过的物体。
推荐理由：论文提出用视觉语言模型与LLM推理货架隐含组织规则，为开放世界物体摆放提供可迁移的推理流程。
作者提出 post-hoc kernel-variance heads，从单一 VLA 策略的嵌入中估计认知不确定性，每个头计算以训练演示嵌入为条件的高斯过程条件方差，拟合不需要回归目标或梯度更新，也不改动策略本身。
推荐理由：论文提出无需重训的核方差头，用单一策略估计认知不确定性，并与双策略集成在LIBERO-10上对比。
SpatialDex提出一种从纯RGB人类视频学习3D双臂灵巧操作的框架，通过重建场景几何并结合手部运动估计进行视觉运动预训练。该方法将重建几何同时作为策略输入和预测目标，用门控残差融合把预训练视觉语言模型的token网格锚定到该几何上，并预测未来场景几何与手腕、手指动作。
推荐理由：论文给出从纯RGB人类视频重建场景几何并联合预训练双臂灵巧策略的方法，附仿真与实机对比结果。
CausGround 是一个非参数化的因果交互接地框架，把交互经验提炼为以动作为中心的因果知识，用于具身规划。它识别动作前置条件与效果，并以分解式世界状态表示组织物体属性和物体间关系，规划时把任务相关因果依赖接地到当前观测，支持前置条件的反向推理与效果的正向推理。
推荐理由：论文把交互经验整理成可复用的动作前置条件与效果知识，并在仿真基准和实机操作上给出对比结果。
FlowVLA 将动作生成与物理完成度估计分离，由共享的 π_{0.5} 动作专家在边界感知监督下学习接近、倾倒和返回，并用融合视觉、关节、腕部力与循环力信念历史的目标无关估计器维持转移质量估计，当估计值加预测残余流出量达到目标质量时触发返回。
推荐理由：论文把倒水任务的返回决策拆成动作生成与转移质量估计，并给出与多个 VLA 基线的对比结果，可供研究定量操作闭环的人参考。
PAL 是一个面向视觉语言机器人操作的分层记忆框架，用高层 VLM 把流式视觉观测转成可执行 subtask_list，执行时再选出当前子任务交给低层 VLA 策略。
推荐理由：论文提出分层记忆框架，把长程任务规划提前写入可执行子任务列表，并给出仿真基准与四项实机任务的对比结果。
论文提出关系几何强制（RGF），通过对齐成对特征关系而非逐点特征，把冻结3D基础模型的几何先验迁移到世界动作模型（WAM）。作者发现逐点几何对齐虽改善视频特征却会损害动作学习，RGF 用帧内、跨视角和动作-时序三类关系目标，且仅在训练阶段使用，不增加几何分支或推理模块。仿真与实机实验显示，该方法在多种操作场景和 WAM 范式下取得一致提升。
推荐理由：论文指出逐点几何对齐会损害动作学习，提出用成对特征关系迁移3D先验，并在仿真与实机中验证。
作者提出 TIDE（Training In DEployment），一个面向机器人操作的人在环在线后训练系统，可在部署过程中利用人工干预和策略自身 rollout 在线更新策略，无需学习 critic、奖励模型或动作评分器。
推荐理由：论文提出无需价值函数或奖励模型的在线后训练系统，并在四项真实双臂操作任务上对比热启动策略与离线演示。
作者提出 DepState-JEPA，一种双流 RGB-D 联合嵌入预测架构，通过共享隐状态 DepState 把空间理解与动作条件预测连接起来。该框架基于 V-JEPA 2.1，将深度同时作为互补观测流并把两种模态锚定到度量三维空间，动作条件转移后由同一组解码器预测未来 RGB 与深度特征。
推荐理由：论文提出以深度观测锚定共享隐状态的双流预测架构，可用于比较机器人操作中的状态表征设计。
SMR 提出一种流式神经运动重定向器，从语义条件物理专家学习，将人类运动转为人形机器人可执行的运动参考。方法先把人类运动转换为机器人感知的任务空间目标，由物理专家在仿真中于接触、动力学和执行器约束下跟踪，再用严格因果的 Transformer 学习其执行状态轨迹。
推荐理由：论文提出从语义条件物理专家学习流式重定向，对比运动学与物理精修基线，可供人形机器人运动参考生成研究比较。
SimPT 是一个自动化干预式 VLA 后训练的仿真框架，把策略 rollout、纠正数据采集、策略训练和独立评估整合在一起。
推荐理由：该预印本把 VLA 后训练中的干预采集、训练与评估放进仿真闭环，并给出与固定间隔基线的对比数据。
Yiqing Yuan等人提出ACT-—Flow，将自适应Action Chunking Transformer与条件残差流策略耦合，用于视觉插接任务的在线学习。
推荐理由：论文给出ACT-—Flow在插接类任务上的在线学习框架与消融结果，可比较残差策略与行为克隆的组合方式。
RoPT 是一个面向视频的鲁棒 6DoF 物体位姿跟踪框架，作者称其把视觉感知、时序运动学与全局重定位耦合成闭环，以应对快速运动下的跟踪发散。视觉部分通过跟踪物体掩码处理部分和严重遮挡，运动学因子图则约束帧间更新、预测前向位姿并驱动多假设并行验证以避开局部极小。作者在多个挑战性基准和真实机器人演示中报告，快速运动下的跟踪存活率显著更高。
推荐理由：论文把视觉感知、时序运动学与全局重定位耦合成闭环，用于应对快速运动下的位姿跟踪发散，可供机器人交互感知研究参考。
SLoSa 是一个神经符号压缩与微调框架，用于训练小尺寸、低功耗且具备安全意识的机器人任务规划基础模型。该框架先用经典规划器、教师大模型和形式化验证器构建安全数据集，再经监督微调与由验证奖励机引导的强化学习微调。
推荐理由：论文给出小尺寸规划模型在 PDDL 任务、家用仿真与桌面机械臂上的成功率与功耗数据，可对照大模型本地部署的资源约束。