JEDI:面向上下文模仿学习的联合嵌入演示压缩方法
JEDI 提出将演示压缩为潜在槽位,在冻结的视频-JEPA 空间中训练其预测查询回合的下一阶段关键帧,以缓解长多模态轨迹占用上下文的问题。方法用任务与过程反事实帮助槽位保留执行细节,并通过预测器从演示库中选择示例;用关键点 token 后训练后,可在机器人上实现人手条件化。
推荐理由:论文提出以查询未来预测为目标的演示压缩方法,并在 LIBERO 与实机上验证多示例上下文下的策略适配。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
JEDI 提出将演示压缩为潜在槽位,在冻结的视频-JEPA 空间中训练其预测查询回合的下一阶段关键帧,以缓解长多模态轨迹占用上下文的问题。方法用任务与过程反事实帮助槽位保留执行细节,并通过预测器从演示库中选择示例;用关键点 token 后训练后,可在机器人上实现人手条件化。
推荐理由:论文提出以查询未来预测为目标的演示压缩方法,并在 LIBERO 与实机上验证多示例上下文下的策略适配。
TouchBridge 提出硬件与软件协同的人到机器人数据转换框架,通过可穿戴人类演示接口与对应机器人接口建立视觉和指尖触觉的跨本体对应。其 Tac-Retarget 方法以实测接触对齐指尖接触区域,无需物体网格、位姿估计或物理仿真即可完成重定向。
推荐理由:论文给出触觉条件重定向的人到机器人数据转换框架,并报告四类实机接触任务的成功率与采集效率对比。
作者提出 MUSBRIC,一套面向可重构肌骨机器人的模块化硬件平台及配套 MuJoCo 仿真器,用乐高兼容端盖把纤维增强伸展型气动人工肌肉做成可插拔复用的肌肉积木。肘关节原型验证了随负载变化的屈伸,滑轮导向实现可逆运动,机械限位稳定伸直姿态;机械手展示柔性抓取与多关节搭建。硬件与仿真在 15 种腿部配置上做匹配扫描,四足由四条腿组装并演示行走,硬件设计与仿真代码将开源。
研究提出一种LLM引导的分层框架,用于四足机器人在有可移动障碍物的环境中完成交互式导航与平面推挤。语言条件任务规划器用LoRA在合成数据上微调,将自然语言任务和结构化场景表示映射为变长参数化动作序列,由低层强化学习策略执行,在交互式导航任务上优于经典规划器和提示式前沿模型。
AcrossDEX 1.0 是一个连接人体运动预训练、仿真专家学习、机器人演示采集与视觉闭环执行的学习系统,支持六通道 Inspire 手和十六关节 Allegro 手两种本体。
推荐理由:论文给出跨两种灵巧手本体的统一适应流程,并比较直接回归、扩散与流匹配在开盖和物体重定向任务上的成功率。
RoboAtom 提出 RoboAtom-Data,为多来源现有数据补充统一、时间对齐的原子动作标注,覆盖 145 万条轨迹、688 万个技能标注片段和 16882.1 小时。其流程结合统一协议、大规模人工标注、同一有序技能序列重复执行间的传播以及多阶段质量控制。作者构建 RoboAtom-Bench 以标准化技能识别与时间边界定位评测,基于标注数据训练的 RoboAtom-Anno 在该基准和外部 WGO-Bench 上优于所评估的开源与闭源模型。
推荐理由:论文给出跨来源统一原子动作标注的数据规模与构建流程,并附技能识别基准和分层执行对照实验。
研究用双因子Shapley归因分离安全规则与感知对机器人停走决策误差的贡献,并区分漏检与定位误差。在ETH和UCY行人视频、模拟静止机器人、898名行人三场景实验中,横向距离规则在标注位置上未漏危险但停走精度仅5.6-31.9%;两场景RGB感知下校准地平面定位平面RMSE为0.59米和0.51米,检测召回0.43和0.26使漏检成为漏危险主因。所有交互均为仿真,结果为离线决策分类。
LOGIV 是一个面向具身机器人执行的图工程框架,用显式任务图连接符号规划、基于观测的验证与具身动作,并在执行中检查条件支撑与资源顺序边的物理有效性。在 RoboTwin V2 和 BiCoord 的 20 个双臂任务、三种执行骨干上,无注入扰动时平均任务成功率分别提升 10.67 和 15.33 个百分点;在预设扰动下,其任务完成与条件恢复优于三个适配的恢复基线。
推荐理由:论文把任务图与执行期条件校验结合,为长程机器人任务提供可复用的失败恢复接口。
Humanoid Dodgeball 提出一个面向人形机器人敏捷动态避障的强化学习框架,通过威胁感知奖励塑形和多个方向特定的对抗运动先验,让机器人对飞来的抛射物做出全身躲避动作。作者称仿真与硬件实验显示,该框架在不同障碍速度和发射距离下提升了动态避障表现,同时保持稳定且物理可行的人形运动。
推荐理由:论文给出人形机器人躲避高速抛射物的强化学习框架,可用于比较动态避障中的奖励设计与运动先验。
研究提出一种注视辅助监督控制框架,由注视提名岩石或放置目标、显式确认授权动作,机器人执行有界自主抓取与放置。在16名参与者、2×2×3被试内设计的任务模拟VR实验中,该框架相比手动摇杆遥操作把每块岩石平均任务完成时间从47.65秒降至18.43秒,其中72.5%的差异来自抓取阶段。
论文提出 Surrogate Uncertainty 方法,用外部代理贝叶斯模型估计黑盒视觉语言模型在视觉定位中的逐查询不确定性,并分解为偶然与认知两部分。该方法通过跨输入模态的分层检索构建紧凑联合空间邻域,可结合保形预测或基于模型的规划实现主动视觉定位。作者称在多个定位基准和先进VLM上校准与任务表现均有提升,并在真实 Fetch 机器人上按开放世界指令在自信行动与信息收集间做取舍。
推荐理由:论文把黑盒VLM的视觉定位不确定性交给外部代理贝叶斯模型估计,并在真实Fetch机器人上验证主动定位的取舍。
论文提出将LLM监督者在线蒸馏为决策树,并用反事实回放为每次训练回合后的恢复动作打上必要、不必要或有害的标签,以淘汰无用规则。在仿真中20个仅靠MPC会卡住的未见布局上,该决策树在所有随机种子下至少正确处理18个,或到达目标,或在无可行路径时求助。其表现与始终查询LLM的监督者和专家设计规则相当,且测试时不发起任何LLM查询。
推荐理由:论文把LLM监督者在线蒸馏成决策树,用反事实回放标注恢复动作,为移动机器人卡死问题提供可迁移的监督设计思路。
一篇批判性综述考察轨道实验室与行星原位科学中的AI4S,覆盖生物学、材料、流体与热物理及自适应探索,并区分从空间数据学习、选择科学行动、执行行动与保持实验有效性。文章结合地面自驱动实验室在优化、专用自动化与机器人操作上的证据,提出连接样本历史、科学决策、物理执行与主张特定有效性的框架,并用轨道设计与行星扩展及匹配评估方案区分感知、决策策略与物理行动的贡献。
Xinyuan He 等提出一个分层三阶段框架,用于运动学与触觉对齐的灵巧手重定向,以物体为中心的接触力旋量空间作为人手与机械手之间的触觉对齐物理表示。框架先对齐手部运动学与接触几何,再根据触觉力与接触几何构建人手力旋量支撑剖面,随后优化机器人指尖力目标以覆盖该支撑并转换为关节位置修正,得到可直接回放的机械手轨迹。
推荐理由:论文提出以物体接触力旋量空间对齐人手与机械手触觉信息的三阶段重定向框架,并在实机倒水任务中报告96.7%回放成功率。
SimTO-Robust 提出一种仿真驱动拓扑优化方法,通过模拟多物体、多位姿抓取并聚合接触力来指导软体夹爪形态优化。研究生成 6,646 个设计,并实机评测其中 24 个,与 10 个专用 SimTO 设计、两个刚性基线夹爪及一个常规拓扑优化通用软体夹爪对比。
推荐理由:论文把多物体、多抓取位姿纳入拓扑优化,并给出37个夹爪的实机抓取对比,可作为软体夹爪形态设计的方法参考。
作者提出CoRAct,一个后果锚定的推理到动作对齐框架,通过动作噪声空间中的奖励引导优化,显式对齐具身思维链推理与动作生成。
推荐理由:论文提出用动作噪声空间中的奖励优化显式对齐推理与动作,并在仿真基准和实机任务上对比ECoT基线。
PRIME W0 是一个分层条件流匹配框架,旨在让VLA模型不再只依赖当前观测,而是利用长时序上下文与VLM的分层表示。其设计包括从预训练VLM向自适应MoE动作专家逐层注入KV、通过异步世界模型子目标图像预测和DINOv2历史帧语义桥接实现动力学感知条件,以及采用协方差结构化噪声的Action Dynamic Manifold流匹配。
推荐理由:论文提出分层条件流匹配框架,用世界模型子目标预测与历史帧语义桥接补足VLA的时序上下文,并给出消融验证。
作者提出统一导航框架 EvoLife,让多模态具身智能体自行选择移动方式、何时提问以及保留哪些经验。其混合动作空间支持航点导航、局部离散调整、像素级导航和物体导向导航,主动交互允许智能体在遇到歧义或困难时寻求澄清或帮助,持久空间记忆把观察和对话绑定到地点。
推荐理由:论文提出统一导航框架 EvoLife,把混合动作空间、主动求助与持久空间记忆放在同一系统中,并给出多基准评测结果。
ScheduleGen 是一种面向多臂机器人模仿学习的规划与调度算法,用于从少量源演示合成新演示并规避多臂约束带来的不安全行为。在 28 个仿真任务变体(含 7 个外部 RoboDojo 任务)上,其平均数据生成成功率为 79.6%,训练出的策略平均成功率为 65.5%,优于所对比的数据生成基线。
推荐理由:论文提出面向多臂约束的演示生成规划与调度算法,并在仿真与真机迁移任务上给出成功率对比。
该预印本提出一种轻量几何预测头,接在冻结的0.5-2B VLM骨干上,从中间隐藏层读取特征,经任务指令条件化查询和视觉token交叉注意力,直接回归可供性框与轨迹路点。
推荐理由:论文指出自回归解码是轨迹预测的主要瓶颈,并给出冻结骨干加几何预测头的替代方案,可供比较VLM空间输出方式。
作者提出UMI-Live,一套用于野外双臂数据采集的开源全栈UMI系统,其定制硬件集成相机与LiDAR-惯性传感、板载计算和供电,无需外部追踪设备或在采集环境中标定。系统提供简单录制界面,异步流水线并行进行SLAM重建并发布可直接用于训练的数据集,同时发布支持双YAM遥操作及VLA策略训练与推理的软件。作者用π0.5和MolmoAct2微调验证数据质量,在双臂抓放任务上成功率分别为10/10和8/10,并公开三个任务共40小时的UMI-Live数据及硬件设计、软件和复现指南。
推荐理由:该系统把相机与激光雷达惯性传感、机载计算和异步SLAM流程整合成免外部追踪的双臂采集方案,并附40小时数据与复现指南。
Joshua Yuriv Pilipovsky 的论文研究无人机与地面车异构编队在含未知数量潜在危险目标的区域中协同通行。无人机用机载光学相机做空中感知,以遍历控制按空间信息密度分配感知,并结合动态相机视场与位姿相关检测模型,通过贝叶斯推断和边缘化得到目标后验的 PMB 近似。
针对多鸟穿越泊松圆盘森林的群体运输问题,研究构建显式有向走廊网络并在航点施加统一时间间隔,证明最大流等于最小顶点割容量,由沿顶点不相交路径重复飞行实现。该调度在任意有限时域内最大化完成穿越次数,保持恒定前向速度且无内部等待;森林带深度固定时得到几乎必然的确定性流密度极限,深度与宽度同比发散时该流量与正宽深比无关。
SONIC-K1 是作者称为首个面向 Booster K1 人形机器人的开放权重全身运动跟踪器,通过将 SONIC 框架适配到这一更小的机器人得到。策略在单张共享 GPU 上从零训练,算力只占 SONIC 报告算力的一小部分;在 MuJoCo 仿真中按 SONIC 的成功判据跟踪了几乎所有留出动作片段,并在外部基准上表现良好。
推荐理由:论文给出在单张共享 GPU 上从零训练小型人形全身运动跟踪策略的流程,并区分仿真与实机表现。
ProLoop 是一个进度感知闭环框架,从期望状态与执行状态之间的结构化关系显式推导子目标进度,再由学习到的 State-Relation Monitor 判断关系并聚合为进行中、偏离或完成。在 AgentBoard ALFWorld 和真实机器人平台上的实验显示,整体成功率提升 12.94%,Hard 任务提升 15.46%,环境交互次数减少 32.3%。
推荐理由:论文提出用状态关系显式估计子目标进度,并在仿真基准与实机平台报告成功率与交互次数变化,可供长程任务规划研究比较。
作者提出用仿真抓放交互生成的监督,将双侧六轴力/力矩历史与冻结语言空间对齐,预训练为语义结构化的物理表征。在仿真未见物体上,该表征支持以文本原型读出机器人动作、物体重量和抓取交互;在实机放置任务中,无需更新编码器、仅靠无标签校准即可识别接触与支撑状态,表现优于垂直力符号反转规则基线。对于预训练中未出现的连接器插入事件,低秩适配相比从头训练提升了数据效率。
推荐理由:论文把双侧六轴力/力矩历史对齐到冻结语言空间,为外接触感知提供可复用表征,并给出仿真与实机放置、连接器插入的验证路径。
OpenFlyV2 是一个统一的机载视觉-语言-动作架构,用共享视觉-语言表征在单一模型中支持语义理解、语言定位感知、空间推理与连续空中控制。紧凑动作专家将多模态上下文转为短时域航点,运动感知时序记忆与动作先验降低闭环执行计算开销;作者构建约 7 万条导航轨迹和 6 万对视觉-语言指令-响应的仿真数据集。
推荐理由:论文给出机载 VLA 在 Jetson Orin NX 上以 10 Hz 闭环飞行、零样本迁移到真实四旋翼的结果,可供比较机载与离板方案。
研究提出一种跨控制器迁移框架,让单一策略在上下文内适应不同控制器。该方法用指令动作与机器人实际运动的示例编码控制器下的行为交互,再由 transformer 上下文编码器汇总,使策略无需为每种控制器单独学习。实验覆盖六种控制器类型及控制器增益与柔顺性变化,实机结果显示平均成功率比朴素数据合并高 33 个百分点,在未见控制器模式上达到 50% 成功率,在未见控制器增益上达到 52%,并能迁移到控制器专属数据有限的任务。在 USB 插入、表面擦拭等接触丰富任务中,行为交互上下文使策略不仅调整动作,也调整策略。
推荐理由:论文给出跨控制器与跨本体的行为交互上下文编码方法,并报告实机成功率提升与未见控制器模式下的表现。
论文提出 CuBot-STT,将模块运输、接口锁紧与释放集成在一台外部机器人中,立方模块提供结构支撑与 24 V 配电。每个面上的齿轮传动把单路外部输入转换为四个螺旋锁紧点的运动,以保留内部空间。
推荐理由:论文给出模块化机器人外部运输与锁紧一体化设计及规划方法,可用于比较模块重构系统的接口与规划方案。
WorldFlow 提出一种生成式世界模型,通过将3D运动参数化为与视频网格对齐的连续位移 token,用统一的 Mixture-of-Transformers 骨干在 rectified-flow 目标下同时去噪视频与基于查询的3D轨迹。
推荐理由:论文把视频与3D轨迹放进同一生成骨干联合预测,并给出跨仿真与真实域的训练规模和基准误差对比。
RAIBO-Wagon 提出一套面向四足机器人拖挂拖车的实时导航框架,将 Conditional Flow Matching 与基于学习前向动力学模型的 MPPI 控制结合,用 CFM 缓解 MPPI 的初始化问题并加速收敛,再由 MPPI 迭代细化以超出 CFM 训练分布寻找可行解。
推荐理由:论文给出四足机器人拖挂欠驱动拖车的实时导航框架,并在实机窄道场景报告成功率与负载数据。
GenSight 是一个统一的具身世界模型,把未来视频生成与稠密感知放进同一个预训练视频扩散 Transformer。它用统一的时空表示覆盖视频、深度、具身分割和相对首帧的 2D 光流,在共享 DiT 主干上通过轻量任务调制预测各模态,并在统一速度预测空间中联合优化。推理时支持多步未来视频生成并给出对齐的稠密预测,以及从观测视频做单步稠密感知;训练数据涵盖多种机器人本体与人类手部交互。
Event2Reward 提出从机器人演示中学习奖励的方法,用归一化时间标签锚定进度尺度,并用轨迹内的停滞、回退与恢复关系约束局部变化,将进度预测作为奖励塑形的势函数。
推荐理由:论文用轨迹内的停滞、回退与恢复关系约束进度预测,为从失败执行中构建稠密奖励提供了一种可迁移方法。
EmbodiExp 是一个为具身智能体构建可迁移经验并在任务执行中在线组合的框架。它提出以结果锚定的子目标经验,包含子目标、适用条件、可适配策略和可验证结果,执行时由适用经验引导动作生成,已验证结果可为后续经验建立条件。作者称子目标级结果归因还能利用失败轨迹中的局部成功与需规避动作,并在多个具身基准上以冻结经验库的 fold-based 协议开展实验。
EgoContact 是一个大规模第一视角数据集,用于通过未来接触点预测评估学习到的操作先验的泛化性与精度,包含 22.5K 条人工核验的交互事件,每条含接触前观测、语义意图和像素级接触位置。
推荐理由:论文给出2.25万条人工核验的第一视角接触点数据,并展示将其用作现有可供性迁移策略记忆库后抓取成功率的提升。
作者开源ReSTEP数据集,包含两个操作任务的3156条轨迹,带语义阶段标签和帧级错误标注,覆盖成功执行、失误与恢复过程。基于该数据集,作者提出在线进度估计器REMORA,结合循环视觉记忆、分布预测和因果峰值选择来跟踪任务进度。在两个ReSTEP任务上的实验显示,REMORA在进度准确率和时间一致性上优于SARM基线。
推荐理由:论文开源了带帧级错误标注的长程操作数据集,并提出在线进度估计模型,可供比较任务进度监控方法。
作者提出 CAPTURER 灵巧空中机械臂,用于在多种环境下实现厘米级抓取。系统包含机载感知与目标检测、漂移校正与全局位姿变换、协调飞行平台与机械臂的协同运动规划,以及补偿动态耦合、模型不确定性和外部扰动的抗扰控制器。室内外静态与移动目标实验显示,其在超过 1.5 m/s 的飞行速度下对直径仅 1.5 cm 的记号笔实现厘米级抓取精度。
论文提出 Tactus,一款织物集成传感手套,同时提供指尖触觉力感知与抗遮挡手部位姿追踪,用于采集自然状态下的人手操作演示数据。其指尖堆叠厚度为 1.5 mm,在 95% 置信度下最小可检测力为 0.59 N,比两款商用触觉手套基线低 1.6 至 2.7 倍,跨参与者一致性为 0.87;操作过程中遮挡最严重时指尖关键点相对误差为 11.0 mm。
推荐理由:论文给出触觉手套的传感配置与跨平台量化对比,可用于评估灵巧操作数据采集方案。
Jiahe Wang等提出一种嵌入式形状感知框架,用IMU与执行器反馈经神经网络重建连续体机器人形状,以400 Hz提供形状反馈用于物理闭环控制。在一段与三段连续体机器人上训练超过5000个模型后,所选框架的全局形状误差分别为0.9%L和1.7%L;闭环控制中一段末端跟踪误差为6.1%L,三段形状控制全局误差为2.3%L,而使用相同未补偿测量的IMU-PCC重建则失败。
推荐理由:论文用IMU与执行器反馈重建连续体机器人形状,并给出闭环控制误差,可供受限空间机器人感知方案参考。
Catch It All! 提出面向人形机器人的 sim-to-real 抓取框架,仅用一台自我视角相机即可完成上手与下手抓取,并泛化到未见物体。作者称策略可适应几何形状、可变形性、弹性等物理属性不同的新物体,并通过抓取奖励设计与安全感知课程支持接近硬件极限的高频动作执行,包括低至 5 Nm 的腕部力矩限制。
推荐理由:论文给出仅用单目自我视角相机、零样本部署于宇树 G1 的抓取框架,可用于比较动态抓取的泛化设定。