多候选Simplex架构按上下文运行时构建安全吸引域
论文提出一种两阶段吸引域(RoA)认证流程,用基于收缩的稳定性分析确定目标集,再做基于Taylor模型的可达性分析,从而在运行时按上下文构建安全RoA,并在多个高保障控制器候选间安全切换。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
论文提出一种两阶段吸引域(RoA)认证流程,用基于收缩的稳定性分析确定目标集,再做基于Taylor模型的可达性分析,从而在运行时按上下文构建安全RoA,并在多个高保障控制器候选间安全切换。
作者提出 Anchor-Align,在行为克隆微调 VLA 时加入视觉语言锚定与语言动作对齐两个目标,以缓解预训练表征被覆盖和语言动作错位问题。视觉语言锚定从冻结的 VLM 副本逐层蒸馏表征,语言动作对齐把每个动作目标转成离散运动方向标签,并在同一机器人观测上联合训练语言与动作预测。
推荐理由:论文针对行为克隆微调会覆盖预训练表征的问题,提出表征锚定与语言动作对齐两项训练目标,并在单臂与双臂实机上评测。
Arsh Chawla 与 Rahul Shome 提出 RE4 框架,用操作模式理论检索并变换演示数据,以可解释的四步流程完成物体交互模仿学习。该框架包含模式感知的演示检索、模式感知变换,以及保持模式约束并连接检索点的重规划步骤,最终返回变换后的演示用于 rollout。
推荐理由:论文把操作模式理论用于演示检索与变换,在仿真基准和实机实验中检验可解释策略的鲁棒性。
SwapBot 是一套模块化、以工具为中心的末端执行器系统,用低成本适配器把常见家用工具快速转换为机器人末端执行器,并支持快速自主更换。每个适配器集成紧凑触觉传感器,并接入遥操作系统用于采集演示;用户研究显示遥操作时任务完成时间和操作者负担均降低。
推荐理由:论文给出可换工具末端执行器与触觉传感器的硬件方案,并用消融实验比较触觉对接触密集任务策略的影响。
作者提出 DAWN(Diffusion-based Alignment and unfastening Workflow Network),一个面向真实世界拆螺丝任务的分层机器人框架,将流程分为对齐插入与拧出两个阶段。
推荐理由:论文把拆螺丝长程任务拆成对齐插入与拧出两阶段,并在 Franka 实机上验证,可供接触密集操作研究参考。
Jingxu Gu 与 Dongze Lian 提出 DEED 框架,通过结构化演示扩展与执行设计,将预训练视觉-语言-动作策略适配到 MetaFine 的五项细粒度操作任务。
JEDI 提出将演示压缩为潜在槽位,在冻结的视频-JEPA 空间中训练其预测查询回合的下一阶段关键帧,以缓解长多模态轨迹占用上下文的问题。方法用任务与过程反事实帮助槽位保留执行细节,并通过预测器从演示库中选择示例;用关键点 token 后训练后,可在机器人上实现人手条件化。
推荐理由:论文提出以查询未来预测为目标的演示压缩方法,并在 LIBERO 与实机上验证多示例上下文下的策略适配。
Shota Nomura 等提出 Smooth Action Chunking,将轨迹段表示为平滑基函数的线性组合,在不改变策略架构、训练目标和推理流程的情况下生成平滑轨迹。
推荐理由:论文把运动基元表示嵌入动作分块,在不改策略架构与训练目标的前提下同时缓解块内与块间抖动,并给出免重训的推理期修正。
ScheduleGen 是一种面向多臂机器人模仿学习的规划与调度算法,用于从少量源演示合成新演示并规避多臂约束带来的不安全行为。在 28 个仿真任务变体(含 7 个外部 RoboDojo 任务)上,其平均数据生成成功率为 79.6%,训练出的策略平均成功率为 65.5%,优于所对比的数据生成基线。
推荐理由:论文提出面向多臂约束的演示生成规划与调度算法,并在仿真与真机迁移任务上给出成功率对比。
Qiyang Li、Sergey Levine 等提出 Data Inoculation(DI),一种共享控制数据采集框架:人类提供闭环遥操作指令,残差策略在线训练并扰动这些指令,使机器人接触更广的状态范围,人类的持续纠正则提供恢复演示。作者称在三个真实机器人任务上,DI 的成功率持续优于或持平行为克隆与离线 RL 训练的策略。论文为预印本,未给出任务细节与成功率分母。
推荐理由:论文提出共享控制的数据采集框架,用残差策略扰动遥操作指令,为机器人演示数据的覆盖问题提供可迁移方法。
SimRetract 展示开放手术中牵开器接管的零样本仿真到现实迁移,机械臂从外科医生手中接过牵开器并在交接时保持牵开,策略仅用仿真演示训练,无需人类演示或真实世界微调。
推荐理由:论文把零样本仿真到现实的差距拆到具体组件,并给出消融数据,可供做手术辅助操作迁移的研究参考。
CuraEval 是一个评估机器人模仿学习演示筛选方法的框架,在混合技能 robomimic 数据上用 Diffusion Policy 和 BC-RNN 与同规模随机子集及全量训练做受控对比。
纽约大学等团队发布预印本 Embodied at Sea,研究模仿学习在水下多任务操作中的表现。团队在平静与湍流水域采集1616条水下操作数据,训练14个不同本体感知配置的 DynamicVLA 模型,在泳池1260次可评分实机回放中10个模型超过基线,最佳模型总体成功率93.3%(含部分成功)。
推荐理由:论文给出水下多任务模仿学习的实机回放数据与开源工具包,可用于比较通用VLA与单任务策略在域偏移下的表现。
论文提出自标注偏好迁移方法SPT,让带偏好标注训练的VLA策略把偏好控制迁移到缺少偏好标注的新任务。SPT在带标注源演示上联合训练共享视觉语言骨干做偏好条件动作预测与偏好识别,再冻结识别器为目标演示自标注并微调策略。
推荐理由:论文给出偏好标注缺失时迁移执行偏好的自标注方法,并报告仿真与实机对比数据,可供研究VLA偏好控制的人参考。
EgoThumb 是一款全开源的视觉驱动额外机器人拇指,用于辅助单手完成抓取与持握。其紧凑的双肌腱驱动手指把驱动单元移至前臂,以降低远端重量并实现精确的主动关节控制。
推荐理由:论文给出全开源、视觉驱动的额外拇指硬件与模仿学习策略,可用于比较单手机器人辅助抓取方案。
研究提出自适应残差纠正模块 ARC,在冻结的模仿策略之上用强化学习学习残差纠正,并以稀疏人工纠正决定残差控制何时激活、在残差动作空间的何处探索。在真实机器人的三个精密操作任务上,ARC 将平均任务成功率从 33.3% 提升到 75.0%。作者称人工纠正定义了七关节残差空间中依赖任务的 2-3 维子空间,保留 96.0-97.7% 的纠正幅度平方。
推荐理由:论文把稀疏人工纠正用于定位残差探索的子空间,而非当作模仿目标,为冻结策略的后训练提供了一种可迁移思路。
PS-DLO 提出一种属性与空间感知的可变形线性物体操作策略,通过对比图文学习把初始观测映射为物体属性的类别描述,并用 SAM3 从未来观测提取掩码引导特征、蒸馏进策略的动作专家。作者在单臂和双臂平台的九个真实任务上为每种本体训练共享多任务策略,平均成功率达 68.9%,比最强基线高 20.0 个百分点;在蝴蝶结解结的七种视觉偏移条件下,有六种成功率高于基线。
推荐理由:论文在单臂与双臂平台共九项真实任务上训练共享多任务策略,并给出与最强基线的成功率对比,可供比较可变形线性物体操作方案。
ElevateHead 提出一种在学到的决策点做一次选择、并在整个回合内保持该选择的动作头,用户可将该选择作为输入设定。在受控任务上,当演示包含多种做法且状态无提示时,采样一种做法的动作头成功率比平均做法高 0.72,但该趋势未在其他任务复现。
RoboLongR 是一个离线到在线的框架,通过学习依赖历史的奖励引导策略适应新任务,核心目标是让奖励进度与执行历史支持的前置条件保持因果一致。方法采用阶段打乱监督、循环记忆和两轮训练,并以稀疏终端反馈触发对重复高分失败的纠正。
推荐理由:论文提出以因果一致性约束长程操作奖励学习,并给出仿真与实机成功率对比,可用于比较长程任务奖励设计。
EXE 是一个第一视角跨本体预训练框架,从人类操作视频中学习因子化潜在动作表示,把共享操作先验与本体特有信号分开。作者称该共享动作空间让机器人策略从多样人类演示中获得可泛化的操作语义,同一预训练可同时用于平行夹爪和灵巧手。在 RoboTwin 2.0、RoboCasa GR1 和真实世界操作任务上,EXE 相比无预训练基线取得一致提升。
作者提出 Tiny Recursive Policy(TRP),一种参数高效的行为克隆策略,将持久时间状态与递归潜在精炼结合,每个控制步用共享计算模块反复更新高低层潜在状态后再解码动作序列,并把状态传递到后续预测。
推荐理由:论文提出参数高效的递归潜在精炼策略,在长时程与上下文依赖任务上对比大型生成式基线,可供策略设计参考。
DexPort 是一个面向高自由度机器人灵巧手的手持数据采集接口,采集与部署使用同一套手部硬件,并记录指令关节目标与实测关节状态。操作者移动手持接口指定机器人腕部运动,再选择或调整技能来协调手指动作,无需逐关节控制。作者在4类真实任务上采集超过2500条演示,用行为克隆直接训练视觉运动策略;使用记录的机器人指令替代关节状态时成功率从11%提升到64%,使用野外数据时任务成功率从36%提升到78%。
推荐理由:论文提出用手持接口采集高自由度灵巧手数据,并给出4类任务的成功率对比,可供比较遥操作与人体演示两条数据路线。
HoloBoxing 提出一种基于预训练全身控制器的人形机器人拳击学习配方,将可复用运动技能与任务决策分离。紧凑规划器输出未来身体点目标,冻结的控制器负责关节级执行,学习到的解码器把 32 维动作映射为结构化目标窗口,并用实测状态模仿初始化规划器,再以强化学习优化交互行为。
研究评估条件神经过程能否自主学出可反映动作潜在目标的动作表征。在隐空间加入注意力机制后,模型能在动作序列观察早期形成稳健的目标表征,被视为面向机器人自监督通用学习器的候选模型。
研究提出解剖锚定的模仿学习框架,将解剖引导的探头放置与学习式超声导航结合,用于自主机器人超声扫描。该框架先由外部视觉确定任务相关的解剖起点并建立初始探头位姿参考系,再由基于流的策略根据锚点相对位姿、超声图像、探头相机视图和接触力生成扫描动作,终止头预测任务完成。
推荐理由:论文给出解剖锚定的模仿学习框架与手持采集平台,并在16名未见参与者上报告成功率与跨机器人迁移结果。
DiscoDemo 提出用强化学习生成多样化机器人演示数据,再导出为静态数据集供下游视觉运动模仿学习使用。该方法训练带特权信息的潜在条件强化学习生成器,结合并行逆向课程与成功门控的多样性目标,产出多条成功的闭环行为并做安全过滤。
推荐理由:论文把强化学习当作数据生成器,用多解多样性提升下游模仿学习,并给出仿真与实机成功率对比。
EgoForesight 提出一种视觉-语言-动作框架,联合利用机器人演示与带噪第一视角视频训练策略,通过可靠性条件加噪、可靠性加权回归和特权未来表征蒸馏降低不可靠动作标签的影响。在 3 万小时预训练数据下,其缩放斜率比基线更陡,真实世界开环动作 MSE 降低 20.5%,RoboCasa 少样本成功率提升 8.1 个百分点。后训练后,该方法在仿真与真实世界的灵巧操作任务上也取得较强的绝对性能。
推荐理由:论文提出用带噪第一视角动作联合训练 VLA 策略,并给出 3 万小时预训练下的缩放对比与实机开环误差数据。
KiRoSe 提出用机器人运动学数据而非原始多路视频来分割机器人演示,以降低多模态大模型的处理成本。该方法借鉴 Huffman 编码思路构建稀疏运动 token(SMT),用带时间分段监督的运动轨迹编码并量化得到离散运动词汇,再以演示子任务标注监督开放语言模型解读 token 序列。
推荐理由:论文用机器人运动学数据替代多路视频做演示分段,并给出跨本体零样本迁移的评测结果,可供数据清洗与检索参考。
Jian Hou、Xin Zhou 与 Adam J. Spiers 提出 VecTile,一种 6 mm 厚、可自制的柔性触觉阵列,通过压阻层与被动硅胶凸点把法向和剪切力转换为可区分的压力图案,4x4 阵列整套成本低于 35 美元。
推荐理由:论文给出低成本柔性三轴力触觉阵列的制造与标定方案,并用插头插入任务展示其对策略的增益。
论文提出一套面向2.00千克倾转旋翼四旋翼的仿真飞行栈,用级联PD控制器指令前后与侧向倾转角,并以14状态EKF在悬停、过渡初期和过渡模式间融合传感器数据。由于比例位置环在恒定风下存在稳态偏差,作者在未改动的PD控制器上叠加小型有界神经残差,通过行为克隆从可访问真实风速的教师网络训练,部署网络不观测风速。
一项基于示教的机器人喂食框架将人类示教、动态运动基元运动规划、视觉场景感知与机器人控制集成,由操作者用动作捕捉系统记录勺子的位置与欧拉角姿态,轨迹被分割为舀取和喂食两段并分别编码。
该研究提出一个面向腹腔镜机器人操作的状态到视觉策略蒸馏框架,以带特权状态观测的状态策略作为教师,让视觉策略从RGB观测和机器人本体感知信息中学习。作者在仿真环境的多项手术操作任务上实验,结果显示通用强化学习方法训练视觉策略较为困难,而所提蒸馏方法在各任务上表现更一致、更稳定。该方法所需专家演示少于模仿学习,性能优于强化学习方法。
一项预注册研究比较具身智能体的经验应固化进策略权重还是外部存储并在推理时检索。在视觉条件到达任务上,把记忆增强行为蒸馏进权重仅比纯动作对照高1个百分点且不显著,作者因检验功效不足撤回而非否定该主张;把教师冻结的检索缓冲接到固定学生权重上则提升34个百分点(z=5.15),达到记忆增强教师合并参考值49.3%,预注册协议对比也一致(+23个百分点,z=3.36)。
作者提出 ASTEROID,一个学生-教师监督学习框架,让学生先在不完全可观测下采集在策略上下文,再由特权专家基于该上下文给出动作标签,从而学会测试时探索。在 11 个环境(含离散探索基准、机器人操作、导航和 Procgen)中,该方法在固定探索预算下回报约为对比方法的 2 倍,交互次数比强化学习基线少约 100 倍。
推荐理由:论文提出用特权专家在策略上下文上标注的蒸馏框架学习测试时探索,并在仿真与实机操作中给出对比结果。
DONIC 是一个通用双手灵巧跟踪器,在操作类别与人体运动来源上联合训练,并配套发布 BiHOI 多视角数据集,包含 1575 段序列、229 个物体。方法将近端策略优化与行为克隆结合成反馈回路,把验证成功的执行回收为训练演示,并用以物体为中心的逐手奖励和 Clip-Centered Advantages 支持单一策略学习异构参考下的协调操作。
推荐理由:论文同时给出双手灵巧跟踪模型与1575段多视角数据集,并报告未见轨迹与未见物体上的成功率,可用于比较双手操作跟踪方法。
DriveMLP 提出以专家引导强化学习(EGRL)训练轻量 MLP 策略,在 nuPlan Val14 Reactive 基准上取得 86.51 分,比此前最佳模仿学习规划器 Flow Planner 高 3.2 分,推理速度提升超过 15 倍。研究通过受控实验发现,训练流程而非模型规模与复杂度贡献了相当一部分性能提升。代码已在 GitHub 开源。
作者提出 TIDE(Training In DEployment),一个面向机器人操作的人在环在线后训练系统,可在部署过程中利用人工干预和策略自身 rollout 在线更新策略,无需学习 critic、奖励模型或动作评分器。
推荐理由:论文提出无需价值函数或奖励模型的在线后训练系统,并在四项真实双臂操作任务上对比热启动策略与离线演示。
Yiqing Yuan等人提出ACT-—Flow,将自适应Action Chunking Transformer与条件残差流策略耦合,用于视觉插接任务的在线学习。
推荐理由:论文给出ACT-—Flow在插接类任务上的在线学习框架与消融结果,可比较残差策略与行为克隆的组合方式。
研究提出遥操作界面PointHand,将多指机器人手渲染为指尖与关节的稀疏关键点,并在仿真杯子入盒任务中比较三种渲染方式。18名新手与4名专家共采集2200次试验,看到拇指与食指被强调的新手在600次试验中获得441次成功演示,而看到真实手形的新手为320次。
Yosub Shin 等人提出用单个头戴相机(122 美元)替代腕部相机和位姿追踪器,通过读取无电子手套(22 美元)上的印刷标记与工作区纸片,从同一帧中解出 6-DoF 夹爪位姿和夹爪开度。
推荐理由:论文用单个头戴相机替代腕部相机与位姿追踪器,给出无电子手套的标注精度和策略成功率对比,可供数据采集方案选型参考。