跳到正文

NEWS / 动态

#VLA

按时间浏览,使用右上角筛选切换领域。

10月22日周四
  1. arXiv · cs.RO60

    FocusVLA:用未来意图引导动态视角路由的 VLA 框架

    FocusVLA 提出一种阶段感知的多视角路由框架,从历史动作预测未来交互意图,并据此在动作生成过程中动态调整全局与局部视角的依赖。作者称现有 VLA 模型在多视角输入下持续依赖腕部视角、缺乏跨操作阶段的视角切换能力。

    推荐理由:论文指出已有 VLA 模型过度依赖腕部视角,提出按任务阶段动态路由全局与局部视角,并在仿真与实机给出对比结果。

  2. arXiv · cs.RO75

    WholeBodyMem:为人形机器人全身移动操作保留动作前物体记忆

    论文提出WholeBodyMem,一种物体引导的感知记忆,用于解决全身VLA策略在动态场景中只能看到当前帧、物体线索易消失的问题。该方法用SAM3跟踪任务物体,由物体事件在自适应预算内因果选取关键帧,动作专家通过交叉注意力读取这些帧及编码外观、几何和时间的物体token。

    推荐理由:论文提出面向人形机器人全身VLA的物体引导感知记忆,并给出仿真与实机基准,可用于比较记忆机制对长时序操作的作用。

  3. arXiv · cs.RO71

    UniFlowWAM:融合视觉语义与4D几何的统一世界-动作模型

    上海交通大学等团队提出 UniFlowWAM,将3D场景流作为与视觉、动作并列的第三模态,构建统一世界-动作模型。该模型采用扩散Transformer,每个模态一个专家,通过联合注意力交换信息,并在十目标角色网格下训练,同一模型可充当策略、前向与逆向动力学以及未来视觉特征或3D流预测器。

    推荐理由:论文把3D场景流作为与视觉、动作并列的第三模态,并给出仿真与四项实机双臂任务的对比结果。

  4. arXiv · cs.RO60

    EBV-CAN:面向接触辅助内窥镜导航的视觉语言策略

    研究提出EBV-CAN,一种结合初始全局鸟瞰图、内窥镜观测与电机状态的视觉语言策略,用于柔性内窥镜的接触辅助导航。团队构建VLCA数据集,包含517条演示、75k动作样本、958k空间条目和93k剩余路径记录;在50个留出回合中,尖端坐标与路点定位分别达到97.5%和94.8%。

    推荐理由:论文给出内窥镜接触辅助导航的视觉语言策略与VLCA数据集,并对比动作模仿与任务完成两类指标。

  5. arXiv · cs.RO62

    研究:流匹配 VLA 策略中单步欧拉积分已足够

    一项 arXiv 预印本研究考察流匹配 VLA 机器人策略中欧拉积分的单步与多步采样差异,作者在六个流匹配 VLA 上发现,模型训练充分且容量足够时,单步动作生成大体可匹配多步采样,多步积分在推理阶段几乎没有一致优势。作者据此指出,对大型 VLA 而言,单步策略可直接从多步模型获得,无需重训练、蒸馏或额外辅助目标,从而支持低延迟部署。

    推荐理由:该预印本在六个流匹配 VLA 上比较单步与多步采样,为低延迟部署是否需要额外训练目标提供实证参照。

  6. arXiv · cs.RO63

    Co^2Gen:为去中心化多机器人与人类协作自动生成任务规划

    Co^2Gen 提出一个框架,用去中心化协作规划方法生成可执行函数形式的多机器人协作计划,再据此产出协作演示数据,以去中心化方式微调 VLA 模型,无需人工遥操作。作者称,用这些数据微调后的 VLA 模型在去中心化协作任务上的表现,与用人工遥操作协作数据微调的模型相当。该工作针对 VLA 模型与其他机器人及人类协作能力尚未被充分探索的问题。

    推荐理由:论文提出用去中心化协作规划自动生成多机器人演示数据,免去人工遥操作,并与人工遥操作数据微调效果对比。

  7. arXiv · cs.RO65

    CARE:critic 引导的云端-本地具身智能体自适应执行框架

    Wei Zhang 等人提出 CARE,一个由 critic 引导的自适应执行框架,动态决定何时将控制从本地执行器升级到更强的云端模型。轻量 critic 模型监测执行可靠性并在本地执行不可靠时触发升级,升级后控制持续到智能体恢复,避免逐步切换;共享 handoff memory 在切换时保留执行上下文与任务进度。

    推荐理由:论文提出本地执行与云端模型之间的动态升级机制,并给出成功率与动作间隔时延的对比数据,可供云端-本地协同部署参考。

  8. arXiv · cs.RO62

    STR:面向人形机器人移动操作的时空偏好运动重定向

    论文提出时空重定向方法 STR,用视觉语言模型选择相关运动信号与身体部位,并据此识别关键帧,把更多求解器迭代分配给关键帧、给选定部位更高交互权重。作者还提出 Mechanics-Aware Contact Anchoring(MCA)借助近似物体力旋量模型细化物体表面接触位置,并基于所得参考轨迹构建时空强化学习 STRL,结合自适应关键阶段采样与基于目标接近度的接触位置奖励。

    推荐理由:论文用视觉语言模型挑选关键帧与关键身体部位来分配重定向优化预算,并给出仿真与实机验证,可供人形机器人全身控制参考。

  9. arXiv · cs.RO52

    预注册研究:具身智能体的经验应存入策略权重还是外部检索

    一项预注册研究比较具身智能体的经验应固化进策略权重还是外部存储并在推理时检索。在视觉条件到达任务上,把记忆增强行为蒸馏进权重仅比纯动作对照高1个百分点且不显著,作者因检验功效不足撤回而非否定该主张;把教师冻结的检索缓冲接到固定学生权重上则提升34个百分点(z=5.15),达到记忆增强教师合并参考值49.3%,预注册协议对比也一致(+23个百分点,z=3.36)。

  10. arXiv · cs.RO67

    FRED:用自蒸馏与时间上下文提升世界动作模型的未来视频表征

    论文提出 FRED 框架,通过自蒸馏让世界动作模型(WAM)在单步去噪中从噪声预测未来视频表征,并以真实未来观测提取的表征作为目标,同时用历史观测提供时间上下文。作者称在多种真实操作场景中 FRED 持续优于对比的 WAM,在零样本环境泛化的长时程与域外任务上提升明显。在仅有人类视频演示、未出现在机器人训练数据中的任务上,FRED 达到 50.0% 任务成功率,对比最佳 WAM 为 19.4%。

    推荐理由:论文提出用自蒸馏提升世界动作模型的未来视频表征质量,并给出实机操作与人类视频迁移的成功率对比。

  11. arXiv · cs.RO72

    AW-0:融合代码规划与视频动作预测的智能体世界动作模型

    研究提出 AW-0,一个将代码规划与视频、动作联合预测结合的智能体世界动作模型框架,在统一的 mixture-of-transformers 架构中联合建模代码、未来视频和机器人动作三路生成流。

    推荐理由:论文把代码规划与视频、动作联合预测放进同一架构,为世界动作模型补上技能复用这一环。

  12. arXiv · cs.RO69

    AtomicRL:面向长程机器人操作的原子化强化学习后训练框架

    AtomicRL 是一个面向长程机器人操作的强化学习后训练框架,通过原子任务结构做信用分配与自适应探索。它包含语义感知策略优化 SAPO 和瓶颈自适应目标探索 BATE,并配套连接仿真在线 RL 与实机部署的 Real2Sim2Real 流程。

    推荐理由:论文提出面向长程操作任务的原子化强化学习后训练框架,并给出仿真基准与实机迁移的对比数据。

  13. arXiv · cs.RO60

    从推理到动作:前沿 AI 模型在 LIBERO-10 机器人操作任务上的基准评测

    May Espinola 等人提出一个闭环操作框架,在 LIBERO-10 基准上评测前沿 AI 模型,模型仅凭视觉观测、本体感知和结构化工具调用控制机器人,无需任务特定微调或预训练操作技能。

    推荐理由:该报告在 LIBERO-10 上统一评测六个前沿模型共 1800 个回合,可比较推理能力转化为操作动作的差距。

  14. arXiv · cs.RO67

    SP-HLM:以稀疏姿态驱动的人形机器人移动操作运动生成与全身控制框架

    作者提出 SP-HLM,一个基于稀疏姿态接口的人形机器人移动操作框架,用五个任务关键身体姿态结合学习到的隐式运动先验,分别表达空间意图与全身协调。其中 SP-VLA 从多模态观测和语言指令预测稀疏姿态与手指关节位置,SP-MGM 经两阶段蒸馏实时重建全身运动,SP-GMT 再结合显式稀疏目标与隐式运动先验做全身控制。

    推荐理由:论文提出以稀疏姿态作为高层策略与全身控制的接口,并给出仿真与实机验证,可供研究人形移动操作接口设计时参考。

10月21日周三
  1. arXiv · cs.RO60

    Post-hoc Epistemic Uncertainty for Vision-Language-Action Policies:单策略核方差头估计VLA认知不确定性

    作者提出 post-hoc kernel-variance heads,从单一 VLA 策略的嵌入中估计认知不确定性,每个头计算以训练演示嵌入为条件的高斯过程条件方差,拟合不需要回归目标或梯度更新,也不改动策略本身。

    推荐理由:论文提出无需重训的核方差头,用单一策略估计认知不确定性,并与双策略集成在LIBERO-10上对比。

  2. arXiv · cs.RO78

    SpatialDex:从纯RGB人类视频重建增强视觉运动预训练,学习3D双臂灵巧操作

    SpatialDex提出一种从纯RGB人类视频学习3D双臂灵巧操作的框架,通过重建场景几何并结合手部运动估计进行视觉运动预训练。该方法将重建几何同时作为策略输入和预测目标,用门控残差融合把预训练视觉语言模型的token网格锚定到该几何上,并预测未来场景几何与手腕、手指动作。

    推荐理由:论文给出从纯RGB人类视频重建场景几何并联合预训练双臂灵巧策略的方法,附仿真与实机对比结果。

  3. arXiv · cs.RO60

    FlowVLA:面向定量机器人倒水的流感知物理完成学习

    FlowVLA 将动作生成与物理完成度估计分离,由共享的 π_{0.5} 动作专家在边界感知监督下学习接近、倾倒和返回,并用融合视觉、关节、腕部力与循环力信念历史的目标无关估计器维持转移质量估计,当估计值加预测残余流出量达到目标质量时触发返回。

    推荐理由:论文把倒水任务的返回决策拆成动作生成与转移质量估计,并给出与多个 VLA 基线的对比结果,可供研究定量操作闭环的人参考。

  4. arXiv · cs.RO71

    PAL:先规划后执行的分层记忆框架用于机器人长程操作

    PAL 是一个面向视觉语言机器人操作的分层记忆框架,用高层 VLM 把流式视觉观测转成可执行 subtask_list,执行时再选出当前子任务交给低层 VLA 策略。

    推荐理由:论文提出分层记忆框架,把长程任务规划提前写入可执行子任务列表,并给出仿真基准与四项实机任务的对比结果。

  5. arXiv · cs.RO60

    DepState-JEPA:以深度锚定状态表征的RGB-D联合嵌入预测架构

    作者提出 DepState-JEPA,一种双流 RGB-D 联合嵌入预测架构,通过共享隐状态 DepState 把空间理解与动作条件预测连接起来。该框架基于 V-JEPA 2.1,将深度同时作为互补观测流并把两种模态锚定到度量三维空间,动作条件转移后由同一组解码器预测未来 RGB 与深度特征。

    推荐理由:论文提出以深度观测锚定共享隐状态的双流预测架构,可用于比较机器人操作中的状态表征设计。

  6. arXiv · cs.RO58

    NavBind 提出在路线分叉处诊断导航 VLA 的指令-动作绑定

    NavBind 提出一种诊断导航 VLA 指令-动作绑定的方法,在导航上下文固定时检验更换指令是否改变动作的概率分布。研究从 R2R-CE 和 RxR-CE 重组出 3,252 个路线分叉上下文,每个上下文的两条完整指令共享已走过路线的描述、但指向不同分支,并在相同智能体状态和导航历史下评估。

  7. arXiv · cs.RO63

    T-WLA:用共享视觉记忆衔接慢视觉与快触觉的接触密集操作架构

    T-WLA 提出一种世界-语言-动作架构,用共享视觉记忆同时指导动作生成与触觉修正。每次视觉更新时,视觉分支把当前图像、任务指令和检索到的历史整合为视觉记忆,用于生成基础动作;同一记忆被缓存给轻量触觉编辑器,结合当前动作块与触觉输入预测未执行动作的残差修正,无需重跑视觉分支。

    推荐理由:论文提出用共享视觉记忆驱动轻量触觉修正器,避免视觉策略重算带来的延迟,可供接触密集操作研究比较。

  8. arXiv · cs.RO72

    UniWALM:统一世界-动作-语言模型用于具身机器人控制

    UniWALM 提出统一世界-动作-语言模型,在单一混合Transformer骨干中联合学习视频、动作与语言,各模态既作条件信号也作监督目标,并在同一次解码中输出子任务与文本记忆,无需独立规划阶段。

    推荐理由:论文把视频、动作与语言放进同一混合Transformer骨干联合生成,并给出记忆依赖任务与实机对比数据,可供比较统一建模路线。

  9. arXiv · cs.RO75

    PhysCanvas:用于机器人策略评估与学习的视觉触觉世界模型

    PhysCanvas 是一个面向接触密集机器人操作的视觉触觉世界模型,将多视角 RGB、触觉图像、标记位移、任务状态与动作统一到同一视觉空间,并共享视频 VAE 与预训练生成骨干。

    推荐理由:论文把视觉与触觉统一进世界模型,并给出世界模型成功率与真实任务的相关性数据,可用于比较策略评估方案。

  10. arXiv · cs.RO71

    AgenticRoboRL:将编码智能体后训练引入具身机器人规划器

    AgenticRoboRL提出一种跨不同机器人执行框架后训练规划器的框架,训练方案结合监督微调与多轮强化学习。为适配VLA技能调用和控制代码生成等不同执行机制,该方法用框架专属适配器把记录下来的规划器交互与任务结果关联起来,同时保持执行组件固定。

    推荐理由:论文提出跨不同机器人执行框架的规划器后训练方法,并给出LIBERO-PRO上9B规划器成功率从18.1%升至71.0%的对比。

  11. arXiv · cs.RO71

    REACT:用VLM引导接触重定向学习人形机器人交互策略

    REACT 是一个从人人演示中学习可部署人形机器人交互策略的框架,把语义接触结构作为连接演示处理、交互学习与机载控制的监督信号。其中 VLM 引导的接触建模与重定向流程识别人人交互中的语义接触并迁移到人形机器人几何上,特权交互策略借助接触奖励学习行为后,被蒸馏为仅用机载传感的自我中心深度策略,并引入生成式伙伴状态建模以应对遮挡。

    推荐理由:论文给出从人到人形机器人接触迁移并蒸馏为机载深度策略的完整流程,附仿真与Unitree G1实机结果。

  12. arXiv · cs.RO67

    CLOSER:面向具身物体目标导航的证据感知主动视觉验证框架

    CLOSER提出证据感知的主动验证框架,把物体目标导航中的停止决策当作闭环证据采集,将视觉语言模型验证与主动感知结合。该框架微调开源VLM,把候选目标在各帧的视图标注为目标、非目标或不确定,用基于嵌入的多样性门控挑选互补视图,再由轻量网络融合各视图概率;若融合判断仍不确定,扩散策略仅依据跟踪掩码和深度驱动智能体靠近候选目标,直到判断明确。

    推荐理由:论文把停止决策改写为闭环证据采集,用VLM多视角验证加扩散策略主动靠近,为ObjectNav误检问题提供可迁移方法。

  13. arXiv · cs.RO64

    GPT-6-Astra 触觉策略在五项 UniVTAC 任务上取得 93.8% 平均成功率

    研究提出 GPT-as-Tactile-Policy,将专家演示总结为任务指引和触觉参考,由 GPT-6-Astra 结合多模态观测与交互历史生成控制指令,无需额外机器人专用预训练或逐任务策略微调。在五项 UniVTAC 任务上平均成功率为 93.8%,Insert Hole 任务中触觉反馈将成功率从 31% 提升到 99%。执行分析显示模型能依据接触反馈进行试探与纠正。

    推荐理由:论文用接触丰富操作任务检验通用多模态模型能否借触觉反馈调整动作,并给出与专用策略的对比结果。

10月20日周二
  1. arXiv · cs.RO60

    TaskWAM:用任务状态引导世界-动作模型走向预期未来

    论文提出TaskWAM,一个闭环、阶段感知的世界-动作模型框架,用Mode Tokens表示细粒度任务要求、用State Tokens跟踪执行进度,以缓解长程操作中局部合理但方向错误的推演导致的阶段混淆。

    推荐理由:论文提出阶段混淆问题并给出TaskWAM与StageBench,可用于比较世界-动作模型的长程任务控制方法。

  2. arXiv · cs.RO60

    研究揭示驾驶 VLA 的感知-动作绑定缺口,并提出冻结采样器引导修复

    研究指出,推理增强的驾驶 VLA 能感知并推理安全关键危险,却未能把危险信息转化为安全动作,作者将这一现象称为感知-动作绑定缺口。基于匹配的仿真反事实和驾驶日志回放,研究发现路径内危险确实被编码进视觉表征,但纵向规划主要由自车速度历史主导,对危险距离和模型自身推理轨迹响应很弱。

    推荐理由:论文用匹配仿真反事实与实车日志回放,把驾驶 VLA 的危险感知与制动控制分开诊断,并给出不改权重的生成时引导方案。

  3. arXiv · cs.RO63

    GPL:为视觉-语言-动作模型引入生成式计划隐变量

    作者提出生成式计划隐变量(GPL),把VLA的推理状态表示为对计划(如选哪个物体、抓取或路线)的低维条件分布,使计划可采样、可按请求选择、可按部署结果重加权,且无需重新训练VLA。

    推荐理由:论文把VLA的推理状态建模为可采样的计划分布,并在仿真操作任务上对比了计划引导与动作分布引导的差异。

  4. arXiv · cs.RO60

    CPR:从预测几何到动作,学习互补预测表征用于具身操作

    作者提出两阶段框架 CPR,从多视角视频片段学习互补的预测几何表征用于具身操作。预训练阶段用冻结的 3D 基础模型提供稠密几何特征,压缩为预测几何表征并保留场景结构及其时序演化,再对几何转移施加动作监督提取运动表征;下游后训练通过几何查询迁移预测几何,运动表征引导动作生成路径上的中间特征。

    推荐理由:论文提出两阶段框架,从多视角视频学习互补预测几何表征,并在 LIBERO、SimplerEnv 与实机任务上对比下游策略表现。

  5. arXiv · cs.RO71

    DirectWAM:将世界-动作模型蒸馏为单步预测的机器人控制方法

    DirectWAM 通过动作充分蒸馏把预训练视频与动作专家转为单步预测器,在 LIBERO 四个套件平均成功率 97.1%、RoboTwin 2.0 上 85.4%,推理延迟较完整迭代教师降低 28.0 倍。

    推荐理由:论文分析世界-动作模型中视觉预测误差对动作的影响,提出单步蒸馏方法,并给出仿真基准与实机任务结果。

  6. arXiv · cs.RO58

    FIT-MAC:面向鲁棒 VLA 模型的闭环多智能体框架

    FIT-MAC 是一个失败感知的闭环多智能体控制框架,在推理阶段为 VLA 策略增加控制层以提升鲁棒性。该框架由 Planner、Grounder、Verifier 和 Correction 四个智能体组成,分别负责任务解析、视觉目标绑定、执行进度跟踪与失败类型区分,以及将干预路由到目标重绑定或有界抓取与放置恢复;无需干预时仍由预训练 VLA 生成动作。