SaiVLA-JEPA:评估 JEPA 条件下的 VLA 控制中未来隐表征预测
Synthoid.ai 的 VLA Research Team 提出 SaiVLA-JEPA,在 VLA 流策略中接入冻结 V-JEPA 编码器特征,并在 10,030 对 LIBERO-Plus 回合上比较三种设置。
推荐理由:论文在 LIBERO-Plus 配对闭环试验中比较 JEPA 条件与未来表征监督,给出成功率对照与负结果。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
Synthoid.ai 的 VLA Research Team 提出 SaiVLA-JEPA,在 VLA 流策略中接入冻结 V-JEPA 编码器特征,并在 10,030 对 LIBERO-Plus 回合上比较三种设置。
推荐理由:论文在 LIBERO-Plus 配对闭环试验中比较 JEPA 条件与未来表征监督,给出成功率对照与负结果。
论文提出 OmniQuad 轮足混合机器人,将麦克纳姆轮与腿式运动结合,以兼顾不平地形适应性与室内移动效率。作者介绍了定制麦克纳姆轮式足的设计、由该轮式足与 EM-Act 执行器组成的整机装配,以及配套控制方案,并在室内外环境中开展实验评估其性能。
SpaceAct 是一个交互式基准,通过闭环物理动作与主动感知评测多模态大模型的3D时空推理,并配套提出 SAPA 时空主动探测智能体框架。基准基于积木与机械谜题构建,覆盖6类36个任务族共108个已验证实例,不提供特权坐标,并设有 +plan、+state、no-camera、blind、L7 levers 等诊断模式。
推荐理由:该基准用闭环物理动作和主动感知考察多模态模型的3D时空推理,并给出10个前沿模型的诊断性对比。
一个为期三年的ROS 2人机交互联盟在集成大语言模型与视觉模型的过程中发现,机器人Alice在人类拒绝邀请后先转身说“没关系,都挺好”再驶离,语序改变了信息含义,另一次则在访客就站在主人身旁时报告访客已到。研究据此提出关于注意力、知识、承诺、具身时序与行动权限的五条设计经验,并引入TRACE轻量审查方法,通过改变一个交互前提追踪至决策或执行边界以产出架构发现。
Zhiyuan Xiang 等提出两阶段后训练框架 Cascaded Skills Optimization(CSO),用于修正 VQ-VAE 类离散技能先验的量化误差。
推荐理由:论文提出两阶段后训练框架,用于修正离散技能先验的量化误差,并给出LIBERO与实机单臂任务的成功率对比。
作者提出 FEEL,一种不确定性感知的残差方法,从本体感知历史估计逐指外力大小,部署时无需专用接触传感器。该方法将校准的虚拟弹簧估计与混合密度网络(MDN)预测的残差分布结合,在十指、0-20 N 接触力范围内平均 RMSE 为 0.251 N,较虚拟弹簧降低 92.8%,较端到端 MDN 降低 9.4%。
一项 arXiv 预印本研究提出面向零样本视觉语言导航的时空记忆系统,由 8B observer 总结观测、8B reasoner 依据任务、时序与空间三类记忆选择路点意图或请求新视角,再由几何控制器执行。
推荐理由:论文拆解零样本视觉语言导航中任务进度、观测历史与几何记忆各自的作用,并给出记忆消融与实机对比结果。
Chanyoung Park 等提出 Selective Compositional Diffuser(SCD),通过可达性度量处理组合式扩散规划中重叠片段平均导致的模式平均问题。
一篇 arXiv 综述梳理物理AI中的递归自我改进,即系统不仅从部署经验更新策略、世界模型、技能和可执行程序,还会修订并复用数据采集、反馈或学习流程。文章区分学习器更新与改进器,比较策略学习、想象经验、记忆与技能积累、可执行框架等路径,并提出 L0-L3 分级,分别对应任务局部适应、持久能力增益、继承式流程修订和经核验的改进器增益。
MATCH 是一个联合学习语言条件规划器与目标条件原子动作执行器的框架,用于连续环境视觉语言导航(VLN-CE)。它用执行感知拓扑图表示依赖起点的执行选项,并结合执行器价值估计与实际结果记忆,让规划器通过有界连续偏移细化执行请求。该模型以 0.5B 参数在 R2R-CE 和 RxR-CE 基准上取得 state-of-the-art,初步实机部署也展示了应用潜力。
推荐理由:论文把执行器能力纳入规划器训练,为连续环境视觉语言导航提供可迁移的分层强化学习方法。
HERON 提出用 3D U-Net 从实时深度相机预测障碍感知可达图,在 Jetson AGX Orin 上以 TensorRT 和 INT8 量化部署,平均 115 ms 预测机械臂周围 2.56 m 立方体区域,系统速率 8.57 Hz,接近障碍地图 10 Hz 的更新率。
推荐理由:论文给出嵌入式硬件上实时预测障碍感知可达图的方法与量化指标,可用于比较移动操作臂的在线重定位方案。
CuraEval 是一个评估机器人模仿学习演示筛选方法的框架,在混合技能 robomimic 数据上用 Diffusion Policy 和 BC-RNN 与同规模随机子集及全量训练做受控对比。
研究提出一个实验框架,用于确定运行固定独立行为树、使用私有黑板的机器人团队所需的充分通信量,以每机器人决策的接收方加权比特数衡量流量。在四种仓库条件下测试八种内容策略,低争用条件下零通信即为精确最小值;扩展条件下门控 q=0.992222 的无释放策略被确认充分,成功率达 96.33%,估计速率为每机器人决策 738.55 比特,为全状态通信的 0.544%。
针对全向逃逸者从 Reeds–Shepp 追捕者前向锥形视野中最小时间逃逸的问题,研究求解了速度比 ν>1、半角 0<α<π/2 的全部情形,给出逃逸时间的显式特征刻画与标量方程选根方法,并证明其为每个状态下非预期策略博弈的值。逃逸者在正面轴扩散线端点 E 之上沿通用线追击倒车的追捕者,追捕者最优策略沿用较慢情形的接力策略;水平集与半拉格朗日计算结果与博弈值进行了比较。
arXiv 预印本论文 Same Label, Different Interface 研究机器人学习中位置与速度动作标签无法决定机器人实际执行内容的问题。作者在 PegInsert、GearMesh、NutThread 三个接触密集 Factory 任务上,用同一学习器和训练预算比较五种关节空间接口,每种条件独立训练十个策略。
研究评估多种先进单目深度估计方法在分布外月球环境中的重建效果,使用NASA Ames POLAR立体数据集与Apollo 17月面影像,建立从模拟到实地的验证流程,分别对物理模拟真值做定量评估、对历史实地数据做定性评估。结果显示部分先进方法可泛化生成非结构化月表的高保真相对三维重建。
作者提出EARS-Info,这是事件驱动蚁群重分配搜索EARS的信息感知扩展,用于OpenStreetMap派生网格上的多机器人探索,融合边际感知增益、可行重定位、返回感知路由、感知预留与缓存最短路径。
论文提出用动作条件价值评论器扩展 PPO,通过在同一状态比较已执行动作与采样替代动作来改善信用分配,并结合广义优势估计与探索噪声约束。作者称该方法能在相同探索设置下逃离平台期,在 PPO 停滞的训练预算内完成精密轴孔插入任务。研究将 PPO 在长程接触丰富任务上的失败归因于状态价值评论器只按回合结果判断进展,导致策略收敛到部分解后无法区分动作优劣。
推荐理由:论文把 PPO 在长程接触任务上的停滞归因于状态价值评论器缺少动作区分,并给出可迁移的算法改动思路。
论文提出自标注偏好迁移方法SPT,让带偏好标注训练的VLA策略把偏好控制迁移到缺少偏好标注的新任务。SPT在带标注源演示上联合训练共享视觉语言骨干做偏好条件动作预测与偏好识别,再冻结识别器为目标演示自标注并微调策略。
推荐理由:论文给出偏好标注缺失时迁移执行偏好的自标注方法,并报告仿真与实机对比数据,可供研究VLA偏好控制的人参考。
Roger Ho 等人提出一种面向手持微操作的基于优化的主动约束框架,可同时提供任务引导与安全约束。该框架在手持机器人上实现,并在医学相关人工任务中演示,结果显示安全违规率相对基线降低两个数量级以上,同时弥补了仅施加安全约束带来的三倍精度损失。
TextRadar 提出从全景雷达观测构建场景级三维占据-语言场,使重建场景可用新描述进行查询。该方法用单帧雷达蒸馏模型预测对齐的距离与语言特征,并借助雷达估计位姿配准重建,在新场景中仅靠雷达完成建场。作者在七栋建筑约 2 万条同步观测上演示了场景级自然语言查询与免提示语义可视化,并发现相机到雷达的概念迁移在结构、材质和人体姿态上比颜色和印刷文字更一致。
研究对 π0.5 在 BEHAVIOR-1K 全部 100 个任务上系统配对评估此前提出的推理与数据采集策略,所用模型基于 2025 BEHAVIOR Challenge 冠军方案微调,公开测试集 Q-score 为 0.39。结果显示这些策略并不能一致地迁移到新环境和新任务。项目页面、视频与详细分析见 https://rubenhammele.github.io/behavior2026。
Josef Chen 的预印本在 PushT 上比较面向世界模型的学习型规划器,其固定动作更新器(1,505 参数)在预留的 16 个场景中解出 8 个,总规划与编码耗时 59.079s。
Gagan Khandate 提出单阶段离策略强化学习框架 Echo,通过逆蒸馏让基于状态的辅助策略模仿不断演化的视觉策略,并收集无需渲染的低成本经验,再借助共享特权评论家直接改进视觉策略。
GOFish 提出一种直接在鱼眼图像上训练的三维高斯泼溅表面重建方法,可渲染超过 180° 的视场并从同一场景提取对齐网格。在 200° FIORD 和 205° FullCircle 基准上,其 PSNR 分别比此前最佳方法提升 2.28 和 1.97 dB,并在 FIORD 与 ScanNet++ 主集上取得最高网格 F-score。
TACOS 提出一种基于腿式状态估计因子图残差的足步不稳定性评分,并将其投影到前序图像上,用于监督稠密视觉预测器。作者给出利用事后信息的硬评分和可即时获得的因果软评分两个变体,在 1716 个人工标注接触上与现有方法比较,两个变体的不稳定性检测与严重程度排序均优于所有对比方法,合并严重程度排序比最强基线提升 28%。
推荐理由:论文提出基于因子图残差的足步不稳定性监督信号,并在人工标注接触与户外实机测试中与现有方法比较。
ThinkWorld 是一个 VLA 学习框架,把动作推理建立在世界动力学上,并通过世界想象的强化学习加以强化。它将每个动作思考表示为 Chain-of-Dynamics(CoD),即一串离散运动 token,刻画从当前世界到未来状态的中间动力学,并作为跨本体的通用动作表示。
推荐理由:论文提出以世界动力学链作为跨本体动作表示,并用世界想象强化推理,为无动作标注视频提供监督路径。
研究提出一套在仿真中为LEAP手训练手内物体位姿到达策略的方案,无需人类数据,经系统辨识后零样本迁移到真实手,可用动捕或单个腕部深度相机。在4个物体、4800个未见目标、13.3小时实机评测中,基于状态的策略在2厘米和0.4弧度内到达95.2%的目标,叠加可调保守度的学习残差安全过滤器后掉落减少75%,仍到达91.5%的目标。策略还能旋转任意姿态的灯泡、到达分布外目标并承受快速手臂运动与扰动。
推荐理由:论文给出LEAP手在仿真中训练、零样本迁移实机的手内物体位姿到达方案,并量化了安全过滤对掉落率的取舍。
研究团队采集了带标注的第一视角网球数据集,包含与五路第三人称视频同步的第一视角视频、估计的全局位置、标注的击球时刻和击球类型,并在其上训练和评测视觉模型。
RESPLE2 提出一种基于非均匀 B 样条的递归多传感器状态估计框架,用于 6-DoF 运动表示。该方法利用样条节点夹持边界性质,由惯性运动学直接预测控制点,并在迭代扩展卡尔曼滤波中用部分惯性测量完成预测,更新步骤按原始时间戳融合 LiDAR、相机、IMU 与腿部运动学。
推荐理由:论文给出惯性先验驱动的非均匀B样条多传感器里程计方法,并公开代码与实验数据集,便于对照多平台动态场景的估计精度。
EgoThumb 是一款全开源的视觉驱动额外机器人拇指,用于辅助单手完成抓取与持握。其紧凑的双肌腱驱动手指把驱动单元移至前臂,以降低远端重量并实现精确的主动关节控制。
推荐理由:论文给出全开源、视觉驱动的额外拇指硬件与模仿学习策略,可用于比较单手机器人辅助抓取方案。
研究提出一种可微分的移动窄缝建模方法,按到随时间变化的缝隙平面的有符号距离对居中、对齐和平滑碰撞项进行门控,把稀疏的穿越事件转化为稠密的路径目标。该方法被整合进一个从随机初始化单阶段训练的视觉特征到指令策略,无需教师、规划器或蒸馏。
推荐理由:论文用可微仿真把穿越动态窄缝的稀疏事件转成稠密路径目标,并给出仿真与实机成功率对比。
论文提出 Constraint-Referenced Strategy(CRS),将指令末端执行器旋量投影到物体关节轴上,把沿关节方向的进展与偏离约束的无效动作分开,无需录制演示或学习评判器。
研究提出自适应残差纠正模块 ARC,在冻结的模仿策略之上用强化学习学习残差纠正,并以稀疏人工纠正决定残差控制何时激活、在残差动作空间的何处探索。在真实机器人的三个精密操作任务上,ARC 将平均任务成功率从 33.3% 提升到 75.0%。作者称人工纠正定义了七关节残差空间中依赖任务的 2-3 维子空间,保留 96.0-97.7% 的纠正幅度平方。
推荐理由:论文把稀疏人工纠正用于定位残差探索的子空间,而非当作模仿目标,为冻结策略的后训练提供了一种可迁移思路。
研究提出一种解析事件仿真器,直接从场景几何与自运动合成事件流,无需视觉渲染,单 GPU 生成 64x64 事件观测耗时 17 微秒,比先进渲染管线快 400 倍以上。
推荐理由:论文给出不依赖渲染的事件流仿真方法,并附实机飞行结果,可用于比较事件相机导航的训练效率与部署路径。
StabBot 机器人管道对扣系统结合摆锤卡尔曼滤波、ResNet-18 关键点网络与残差强化学习策略,在 200 组随机作业中全部完成对扣,传统固定导向器为 74%。
推荐理由:论文给出管道对扣机器人在缩比仿真中的成功率与接触力对比,可用于了解学习策略与视觉定位在对接任务中的组合方式。
论文研究双臂工具使用中的机器人故障诊断,在仿真任务上按记录轨迹标注故障原因,测量各传感通道能让诊断器分辨出什么。工具滑脱可在工具手上读出,哪只手迟了需要双臂信息,单手传感器只能读出本手延迟和另一手至多部分延迟;当工具手迟到时,迟到的尝试是否同时推力不足无法从被动传感中辨识。
论文提出一种仅依赖通信基础设施分布式信道测量的框架,用于感知机器人视野外的被动实体并进行风险感知分类。测量数据经超维计算嵌入高维表示,无需显式信道重建即可学习。基于商用光线追踪的数值仿真和ROS验证显示,在严重遮挡下准确率最高达89%,并改善了路径规划与安全性。
World Dreamer v5-lite 是一个面向多机器人的世界动作模型,围绕共享世界状态为各机器人分别预测动作序列。该状态由预训练视频编码器的校准特征在工作空间坐标中填充,空间尺寸不随视角增加而改变;视觉语言模型提供场景上下文,并为每个机器人提供一个查询,查询读取共享状态并交换位姿感知信息,动作流保持独立。
推荐理由:预印本给出多机器人共享世界状态的动作预测设计,并在仿真与四项实机任务上报告成功率对比。
Ego-CEVR 提出一种数据原生的分层视觉表征学习框架,将全局表征与交互表征分配不同的学习目标。全局模块通过在第一视角视频上做未来预测,学习物体关系、任务状态和时间进度;交互模块结合全局上下文解读腕部观测,并借助机器人动作监督学习局部对齐与接触线索。两条残差路径把两种表征同时接入动作策略,全局视频模块可在大规模人类第一视角视频和多种机器人本体视频上独立预训练,无需机器人动作标签或配对的腕部观测。