FocusVLA:用未来意图引导动态视角路由的 VLA 框架
FocusVLA 提出一种阶段感知的多视角路由框架,从历史动作预测未来交互意图,并据此在动作生成过程中动态调整全局与局部视角的依赖。作者称现有 VLA 模型在多视角输入下持续依赖腕部视角、缺乏跨操作阶段的视角切换能力。
推荐理由:论文指出已有 VLA 模型过度依赖腕部视角,提出按任务阶段动态路由全局与局部视角,并在仿真与实机给出对比结果。
内容类型
按内容形态浏览
327 条精选近 30 天 327 条共收录 632 条
FocusVLA 提出一种阶段感知的多视角路由框架,从历史动作预测未来交互意图,并据此在动作生成过程中动态调整全局与局部视角的依赖。作者称现有 VLA 模型在多视角输入下持续依赖腕部视角、缺乏跨操作阶段的视角切换能力。
推荐理由:论文指出已有 VLA 模型过度依赖腕部视角,提出按任务阶段动态路由全局与局部视角,并在仿真与实机给出对比结果。
作者提出用概率能量建模统一多样化集群控制,把基本集群行为编码为可复用的能量项,再由轻量策略门控组合成单一控制器而无需重训练。该方法在 aerial swarms 上零样本泛化到六类任务、10-100 个智能体、两个硬件平台以及室内杂乱和 GPS 拒止林地环境。大规模仿真任务成功率为 0.96-1.00,单智能体推理时延 1-10 ms,实机部署确认了向真实平台和非结构化环境的零样本迁移。
推荐理由:论文把多种集群任务统一为可复用的能量项组合,并给出跨规模、跨平台的零样本迁移结果,可供集群控制研究比较。
GelSlim 5.0 是一种指尖传感器,用单个固定相机和连续 UV 响应接触层,通过切换照明在同一视角依次采集透膜视觉图像与接触敏感触觉图像,从而避免多相机外参标定。
推荐理由:论文提出单相机指尖传感器与多模态融合方法,并给出12个已知物体上的实机对比数据,可供触觉感知研究参考。
论文提出WholeBodyMem,一种物体引导的感知记忆,用于解决全身VLA策略在动态场景中只能看到当前帧、物体线索易消失的问题。该方法用SAM3跟踪任务物体,由物体事件在自适应预算内因果选取关键帧,动作专家通过交叉注意力读取这些帧及编码外观、几何和时间的物体token。
推荐理由:论文提出面向人形机器人全身VLA的物体引导感知记忆,并给出仿真与实机基准,可用于比较记忆机制对长时序操作的作用。
作者提出 RGraph-Eval,一个基于参考演示的机器人视频生成评估框架,用任务场景图显式暴露物体错移、抓取消失、放置偏离等交互错误。该框架将任务实体、交互与运动组织在统一可解释的场景图表示中,由基础模型流水线识别操作角色、定位物体掩码、推断并核验状态转移与动作区间,并重建被操作物体的三维运动。
推荐理由:提出以任务场景图评估机器人视频生成,把物体、关系变化与三维轨迹纳入统一表示,并配套1000个场景数据集。
论文提出TRACE,一个面向地面机器人在非结构化森林环境中自主运行的可通行性感知反应式导航框架。它用正负自然语言提示集生成VLM置信图,经证据融合得到稠密可通行性地图,再提取可通行点并通过百分位分箱与样条或正则化多项式拟合得到左右边界,作为软约束加入NMPC。作者称在真实森林环境中的实验显示,TRACE能在杂乱、可变形和视觉歧义地形中平滑导航。
推荐理由:论文把VLM置信图与证据融合、NMPC软约束结合,为林间非结构化地形导航提供可迁移方法。
上海交通大学等团队提出 UniFlowWAM,将3D场景流作为与视觉、动作并列的第三模态,构建统一世界-动作模型。该模型采用扩散Transformer,每个模态一个专家,通过联合注意力交换信息,并在十目标角色网格下训练,同一模型可充当策略、前向与逆向动力学以及未来视觉特征或3D流预测器。
推荐理由:论文把3D场景流作为与视觉、动作并列的第三模态,并给出仿真与四项实机双臂任务的对比结果。
作者提出 Soft-Object World Model,用 transformer 骨干在大规模仿真软体交互数据上训练,通过上下文学习从变长部分点云历史推断潜在形状与材质线索,实现生成式全状态估计和动作条件动力学预测。
推荐理由:论文提出用上下文学习从部分点云历史推断软体衣物形状与材质,并跨本体泛化,为软体操作的世界模型路线提供参考。
LocoManiLab 提出一个覆盖数据采集与生成、策略训练、评估和物理部署的人形机器人移动操作统一测试台。其任务套件包含五类家庭场景下的 234 个原子与组合任务,配有 51.5 小时仿真遥操作数据;评估覆盖十二个策略在共享控制器下的任务与场景划分及扰动水平、两个策略在五种控制器下的表现,以及示范规模和数据来源混合的研究。
推荐理由:该预印本把数据采集、策略训练、评估与实机部署整合为统一测试台,可用于比较不同策略与控制器在扰动下的泛化差异。
ProTrav提出一种概率地形表示,用函数空间采样生成空间相关的地形实现,并将高程不确定性传播到可通行性代价。方法先用稀疏变分高斯过程(SVGP)从观测重建概率高程场,再通过后验函数空间采样保留相邻位置的空间依赖,得到任意位置可通行性代价的均值与标准差,并以基于矩的上置信界(UCB)定义风险项接入MPPI控制器。
推荐理由:论文把高程不确定性经非线性映射传播到可通行性代价,并用风险项接入MPPI控制器,可供越野导航研究比较。
TEAR 是一个可在机器人端部署的框架,在人类遥操作与本地自主之间分配控制权,依据网络状态证据和任务语义证据决定何时切换。作者称在动态网络条件下的仿真与实机试验中,TEAR 的任务成功率接近纯遥操作,同时把遥操作限制在 19.8%–27.4% 的控制步数内,在其设置下比纯自主执行的成功率提升 30%–40%。
推荐理由:论文把遥操作与本地自主的切换建模为控制权路由问题,并给出仿真与实机试验中的成功率与遥操作占比数据。
论文提出 STAMP 框架,通过 Robot-to-Human-to-Robot 流程把独立采集的人形机器人动作连接成连续序列。其核心是学习到的对齐模型,在动作重定向到人体骨架后为后续动作排序候选位置、朝向和过渡时长,再由人类运动先验在选定对齐下生成过渡。作者在 Unitree G1 和 ROBOTIS K1 上评估生成过渡的跟踪成功率,并用实机演示展示 STAMP 将独立动作连成长时程序列。
推荐理由:论文提出用人类运动先验衔接独立采集的人形动作,并在 Unitree G1 与 ROBOTIS K1 上评估跟踪成功率。
论文提出ALMA空中移动操作框架,用上下文飞行策略适应机械臂外部指令,并通过LLM分析控制难点、生成新的机械臂运动结构用于后续训练。仿真中位置RMSE相对最强基线最多降低24.7%,同一策略零样本迁移到真实空中机械臂后,在周期性机械臂运动下悬停位置RMSE相对真实世界基线降低79.6%。
推荐理由:论文提出用LLM分析控制难点并生成机械臂运动结构,为空中作业的自适应飞行控制提供可迁移的训练思路。
研究提出EBV-CAN,一种结合初始全局鸟瞰图、内窥镜观测与电机状态的视觉语言策略,用于柔性内窥镜的接触辅助导航。团队构建VLCA数据集,包含517条演示、75k动作样本、958k空间条目和93k剩余路径记录;在50个留出回合中,尖端坐标与路点定位分别达到97.5%和94.8%。
推荐理由:论文给出内窥镜接触辅助导航的视觉语言策略与VLCA数据集,并对比动作模仿与任务完成两类指标。
一项 arXiv 预印本研究考察流匹配 VLA 机器人策略中欧拉积分的单步与多步采样差异,作者在六个流匹配 VLA 上发现,模型训练充分且容量足够时,单步动作生成大体可匹配多步采样,多步积分在推理阶段几乎没有一致优势。作者据此指出,对大型 VLA 而言,单步策略可直接从多步模型获得,无需重训练、蒸馏或额外辅助目标,从而支持低延迟部署。
推荐理由:该预印本在六个流匹配 VLA 上比较单步与多步采样,为低延迟部署是否需要额外训练目标提供实证参照。
论文提出一种图像到操作的流程,在自主操作缝合线时同步生成缝合线的实时重建,并执行安全且优化的连续操作以完成长时序任务。作者指出,可变形缝合线没有固定位姿可跟踪、自由度近乎无限,其状态需要重新估计而非假定;缝合线操作又依赖过去与当前的接触点,必须被准确、连续地跟踪。
推荐理由:论文针对缝合线这类可变形物体提出边重建边操作的图像到操作流程,可供关注可变形物体操作的研究者参考。
Co^2Gen 提出一个框架,用去中心化协作规划方法生成可执行函数形式的多机器人协作计划,再据此产出协作演示数据,以去中心化方式微调 VLA 模型,无需人工遥操作。作者称,用这些数据微调后的 VLA 模型在去中心化协作任务上的表现,与用人工遥操作协作数据微调的模型相当。该工作针对 VLA 模型与其他机器人及人类协作能力尚未被充分探索的问题。
推荐理由:论文提出用去中心化协作规划自动生成多机器人演示数据,免去人工遥操作,并与人工遥操作数据微调效果对比。
作者提出GlobMP(Global Motion Planning),一种在分段多项式曲线上运行的梯度投影方法,将运动规划与引导统一为连续时间规划问题,使约束在运动全程而非采样点成立。
推荐理由:论文提出连续时间运动规划方法GlobMP,并给出全局收敛性分析,可用于理解学习策略与规划器之间的约束修正关系。
Wei Zhang 等人提出 CARE,一个由 critic 引导的自适应执行框架,动态决定何时将控制从本地执行器升级到更强的云端模型。轻量 critic 模型监测执行可靠性并在本地执行不可靠时触发升级,升级后控制持续到智能体恢复,避免逐步切换;共享 handoff memory 在切换时保留执行上下文与任务进度。
推荐理由:论文提出本地执行与云端模型之间的动态升级机制,并给出成功率与动作间隔时延的对比数据,可供云端-本地协同部署参考。
论文提出时空重定向方法 STR,用视觉语言模型选择相关运动信号与身体部位,并据此识别关键帧,把更多求解器迭代分配给关键帧、给选定部位更高交互权重。作者还提出 Mechanics-Aware Contact Anchoring(MCA)借助近似物体力旋量模型细化物体表面接触位置,并基于所得参考轨迹构建时空强化学习 STRL,结合自适应关键阶段采样与基于目标接近度的接触位置奖励。
推荐理由:论文用视觉语言模型挑选关键帧与关键身体部位来分配重定向优化预算,并给出仿真与实机验证,可供人形机器人全身控制参考。