技术方向
与机器人感知、决策和物理交互直接相关的VLA进展
122 条精选近 30 天 119 条共收录 172 条
Co^2Gen 提出一个框架，用去中心化协作规划方法生成可执行函数形式的多机器人协作计划，再据此产出协作演示数据，以去中心化方式微调 VLA 模型，无需人工遥操作。作者称，用这些数据微调后的 VLA 模型在去中心化协作任务上的表现，与用人工遥操作协作数据微调的模型相当。该工作针对 VLA 模型与其他机器人及人类协作能力尚未被充分探索的问题。
推荐理由：论文提出用去中心化协作规划自动生成多机器人演示数据，免去人工遥操作，并与人工遥操作数据微调效果对比。
Wei Zhang 等人提出 CARE，一个由 critic 引导的自适应执行框架，动态决定何时将控制从本地执行器升级到更强的云端模型。轻量 critic 模型监测执行可靠性并在本地执行不可靠时触发升级，升级后控制持续到智能体恢复，避免逐步切换；共享 handoff memory 在切换时保留执行上下文与任务进度。
推荐理由：论文提出本地执行与云端模型之间的动态升级机制，并给出成功率与动作间隔时延的对比数据，可供云端-本地协同部署参考。
论文提出时空重定向方法 STR，用视觉语言模型选择相关运动信号与身体部位，并据此识别关键帧，把更多求解器迭代分配给关键帧、给选定部位更高交互权重。作者还提出 Mechanics-Aware Contact Anchoring（MCA）借助近似物体力旋量模型细化物体表面接触位置，并基于所得参考轨迹构建时空强化学习 STRL，结合自适应关键阶段采样与基于目标接近度的接触位置奖励。
推荐理由：论文用视觉语言模型挑选关键帧与关键身体部位来分配重定向优化预算，并给出仿真与实机验证，可供人形机器人全身控制参考。
论文提出 FRED 框架，通过自蒸馏让世界动作模型（WAM）在单步去噪中从噪声预测未来视频表征，并以真实未来观测提取的表征作为目标，同时用历史观测提供时间上下文。作者称在多种真实操作场景中 FRED 持续优于对比的 WAM，在零样本环境泛化的长时程与域外任务上提升明显。在仅有人类视频演示、未出现在机器人训练数据中的任务上，FRED 达到 50.0% 任务成功率，对比最佳 WAM 为 19.4%。
推荐理由：论文提出用自蒸馏提升世界动作模型的未来视频表征质量，并给出实机操作与人类视频迁移的成功率对比。
研究提出 AW-0，一个将代码规划与视频、动作联合预测结合的智能体世界动作模型框架，在统一的 mixture-of-transformers 架构中联合建模代码、未来视频和机器人动作三路生成流。
推荐理由：论文把代码规划与视频、动作联合预测放进同一架构，为世界动作模型补上技能复用这一环。
AtomicRL 是一个面向长程机器人操作的强化学习后训练框架，通过原子任务结构做信用分配与自适应探索。它包含语义感知策略优化 SAPO 和瓶颈自适应目标探索 BATE，并配套连接仿真在线 RL 与实机部署的 Real2Sim2Real 流程。
推荐理由：论文提出面向长程操作任务的原子化强化学习后训练框架，并给出仿真基准与实机迁移的对比数据。
May Espinola 等人提出一个闭环操作框架，在 LIBERO-10 基准上评测前沿 AI 模型，模型仅凭视觉观测、本体感知和结构化工具调用控制机器人，无需任务特定微调或预训练操作技能。
推荐理由：该报告在 LIBERO-10 上统一评测六个前沿模型共 1800 个回合，可比较推理能力转化为操作动作的差距。
作者提出 SP-HLM，一个基于稀疏姿态接口的人形机器人移动操作框架，用五个任务关键身体姿态结合学习到的隐式运动先验，分别表达空间意图与全身协调。其中 SP-VLA 从多模态观测和语言指令预测稀疏姿态与手指关节位置，SP-MGM 经两阶段蒸馏实时重建全身运动，SP-GMT 再结合显式稀疏目标与隐式运动先验做全身控制。
推荐理由：论文提出以稀疏姿态作为高层策略与全身控制的接口，并给出仿真与实机验证，可供研究人形移动操作接口设计时参考。
作者提出 post-hoc kernel-variance heads，从单一 VLA 策略的嵌入中估计认知不确定性，每个头计算以训练演示嵌入为条件的高斯过程条件方差，拟合不需要回归目标或梯度更新，也不改动策略本身。
推荐理由：论文提出无需重训的核方差头，用单一策略估计认知不确定性，并与双策略集成在LIBERO-10上对比。
SpatialDex提出一种从纯RGB人类视频学习3D双臂灵巧操作的框架，通过重建场景几何并结合手部运动估计进行视觉运动预训练。该方法将重建几何同时作为策略输入和预测目标，用门控残差融合把预训练视觉语言模型的token网格锚定到该几何上，并预测未来场景几何与手腕、手指动作。
推荐理由：论文给出从纯RGB人类视频重建场景几何并联合预训练双臂灵巧策略的方法，附仿真与实机对比结果。
FlowVLA 将动作生成与物理完成度估计分离，由共享的 π_{0.5} 动作专家在边界感知监督下学习接近、倾倒和返回，并用融合视觉、关节、腕部力与循环力信念历史的目标无关估计器维持转移质量估计，当估计值加预测残余流出量达到目标质量时触发返回。
推荐理由：论文把倒水任务的返回决策拆成动作生成与转移质量估计，并给出与多个 VLA 基线的对比结果，可供研究定量操作闭环的人参考。
PAL 是一个面向视觉语言机器人操作的分层记忆框架，用高层 VLM 把流式视觉观测转成可执行 subtask_list，执行时再选出当前子任务交给低层 VLA 策略。
推荐理由：论文提出分层记忆框架，把长程任务规划提前写入可执行子任务列表，并给出仿真基准与四项实机任务的对比结果。
作者提出 DepState-JEPA，一种双流 RGB-D 联合嵌入预测架构，通过共享隐状态 DepState 把空间理解与动作条件预测连接起来。该框架基于 V-JEPA 2.1，将深度同时作为互补观测流并把两种模态锚定到度量三维空间，动作条件转移后由同一组解码器预测未来 RGB 与深度特征。
推荐理由：论文提出以深度观测锚定共享隐状态的双流预测架构，可用于比较机器人操作中的状态表征设计。
SimPT 是一个自动化干预式 VLA 后训练的仿真框架，把策略 rollout、纠正数据采集、策略训练和独立评估整合在一起。
推荐理由：该预印本把 VLA 后训练中的干预采集、训练与评估放进仿真闭环，并给出与固定间隔基线的对比数据。
Yiqing Yuan等人提出ACT-—Flow，将自适应Action Chunking Transformer与条件残差流策略耦合，用于视觉插接任务的在线学习。
推荐理由：论文给出ACT-—Flow在插接类任务上的在线学习框架与消融结果，可比较残差策略与行为克隆的组合方式。
Real2Sem2Real（R2Sem2R）提出从真实到语义再到真实的流程，把一段单目人类演示RGB视频转成同一类别多个语义物体实例上的数千条机器人演示。
推荐理由：论文用单段人类RGB视频生成跨语义实例的机器人演示，并在两台实机四类任务上与遥操作数据训练的VLA策略对比。
T-WLA 提出一种世界-语言-动作架构，用共享视觉记忆同时指导动作生成与触觉修正。每次视觉更新时，视觉分支把当前图像、任务指令和检索到的历史整合为视觉记忆，用于生成基础动作；同一记忆被缓存给轻量触觉编辑器，结合当前动作块与触觉输入预测未执行动作的残差修正，无需重跑视觉分支。
推荐理由：论文提出用共享视觉记忆驱动轻量触觉修正器，避免视觉策略重算带来的延迟，可供接触密集操作研究比较。
UniWALM 提出统一世界-动作-语言模型，在单一混合Transformer骨干中联合学习视频、动作与语言，各模态既作条件信号也作监督目标，并在同一次解码中输出子任务与文本记忆，无需独立规划阶段。
推荐理由：论文把视频、动作与语言放进同一混合Transformer骨干联合生成，并给出记忆依赖任务与实机对比数据，可供比较统一建模路线。
PhysCanvas 是一个面向接触密集机器人操作的视觉触觉世界模型，将多视角 RGB、触觉图像、标记位移、任务状态与动作统一到同一视觉空间，并共享视频 VAE 与预训练生成骨干。
推荐理由：论文把视觉与触觉统一进世界模型，并给出世界模型成功率与真实任务的相关性数据，可用于比较策略评估方案。
AgenticRoboRL提出一种跨不同机器人执行框架后训练规划器的框架，训练方案结合监督微调与多轮强化学习。为适配VLA技能调用和控制代码生成等不同执行机制，该方法用框架专属适配器把记录下来的规划器交互与任务结果关联起来，同时保持执行组件固定。
推荐理由：论文提出跨不同机器人执行框架的规划器后训练方法，并给出LIBERO-PRO上9B规划器成功率从18.1%升至71.0%的对比。