几何感知强化学习用于紧身可穿戴物插入任务
研究将机器人辅助穿衣表述为几何感知插入问题,用身体部位与衣物开口的空间关系替代完整可变形物体状态,并提出结合分阶段课程与逐指插入软门控的强化学习框架。训练后可变形评估中完整方法成功率为84.7±1.2%,消融显示插入门控贡献最大,叠加课程后得分最高。在假人手模型上,同一完整策略于实机20次试验中成功15次。
推荐理由:论文把穿衣任务建模为几何感知插入问题,并用消融实验定位插入软门控与课程学习的贡献。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
研究将机器人辅助穿衣表述为几何感知插入问题,用身体部位与衣物开口的空间关系替代完整可变形物体状态,并提出结合分阶段课程与逐指插入软门控的强化学习框架。训练后可变形评估中完整方法成功率为84.7±1.2%,消融显示插入门控贡献最大,叠加课程后得分最高。在假人手模型上,同一完整策略于实机20次试验中成功15次。
推荐理由:论文把穿衣任务建模为几何感知插入问题,并用消融实验定位插入软门控与课程学习的贡献。
北京通用人工智能研究院团队提出触觉引导探索与定位框架TacEP,将单目视觉估计与基于视觉触觉传感器的高分辨率实时探索结合,用于机器人轴孔装配中的目标孔位精确定位。
推荐理由:论文给出视觉与触觉融合的孔位定位框架,并在实机上用五类连接件测试,可作为高精度装配的对照参考。
FORCA 是一个以视觉观测和腕部力/力矩测量为输入、为接触探测与力响应运动编写 Python 程序的编码智能体,无需演示、任务特定训练或仿真。它在五次实机任务中覆盖三类接触密集操作:提升操作精度、适应物体或表面属性变化、在表面变化与物体运动下调节接触。与同一智能体的纯视觉版本相比,FORCA 提升了抓取精度和任务成功率,并减少了擦拭与剥离中的接触丢失。
推荐理由:论文展示编码智能体如何结合腕部力/力矩反馈改写接触操作程序,为力感知策略提供可迁移的闭环思路。
FocusVLA 提出一种阶段感知的多视角路由框架,从历史动作预测未来交互意图,并据此在动作生成过程中动态调整全局与局部视角的依赖。作者称现有 VLA 模型在多视角输入下持续依赖腕部视角、缺乏跨操作阶段的视角切换能力。
推荐理由:论文指出已有 VLA 模型过度依赖腕部视角,提出按任务阶段动态路由全局与局部视角,并在仿真与实机给出对比结果。
AstroBench 是一个面向固定基座机械臂自由漂浮捕获与空间机器人操作的开源基准,包含两个工作单元、九项任务定义和 29 组任务目标组合。
一项基于示教的机器人喂食框架将人类示教、动态运动基元运动规划、视觉场景感知与机器人控制集成,由操作者用动作捕捉系统记录勺子的位置与欧拉角姿态,轨迹被分割为舀取和喂食两段并分别编码。
作者提出 Soft-Object World Model,用 transformer 骨干在大规模仿真软体交互数据上训练,通过上下文学习从变长部分点云历史推断潜在形状与材质线索,实现生成式全状态估计和动作条件动力学预测。
推荐理由:论文提出用上下文学习从部分点云历史推断软体衣物形状与材质,并跨本体泛化,为软体操作的世界模型路线提供参考。
IORA 提出一种支撑面感知的抓取合成框架,面向低自由度耦合手实现不规则物体的固定。该方法把手与物体局部表面区域表示为图并搜索运动学可行的匹配,再细化腕部位姿与电机状态,并通过物理仿真 rollout 验证抓取。实验显示该方法能生成多种抓取构型并取得较高抓取成功率和抗扰动能力,真实实验在烹饪场景中演示了可物理执行的抓取。
论文发布 iAssistADL 三自由度上肢助动平台,面向未来日常生活活动中的震颤与共济失调补偿。该平台将所有执行器置于基座以降低运动质量并提高机械透明性,控制上在水平面采用开环力渲染、垂直方向采用闭环力控制。实验显示水平面阻力矩低于 0.1 Nm,工作空间内末端力可达约 10 N,水平力渲染在 4 Hz 内保持准确,垂直轴在高频段仍受摩擦动态限制。
TEAR 是一个可在机器人端部署的框架,在人类遥操作与本地自主之间分配控制权,依据网络状态证据和任务语义证据决定何时切换。作者称在动态网络条件下的仿真与实机试验中,TEAR 的任务成功率接近纯遥操作,同时把遥操作限制在 19.8%–27.4% 的控制步数内,在其设置下比纯自主执行的成功率提升 30%–40%。
推荐理由:论文把遥操作与本地自主的切换建模为控制权路由问题,并给出仿真与实机试验中的成功率与遥操作占比数据。
论文提出一种图像到操作的流程,在自主操作缝合线时同步生成缝合线的实时重建,并执行安全且优化的连续操作以完成长时序任务。作者指出,可变形缝合线没有固定位姿可跟踪、自由度近乎无限,其状态需要重新估计而非假定;缝合线操作又依赖过去与当前的接触点,必须被准确、连续地跟踪。
推荐理由:论文针对缝合线这类可变形物体提出边重建边操作的图像到操作流程,可供关注可变形物体操作的研究者参考。
研究提出一套集成感知与控制系统,可在CT孔径内完成呼吸门控的自主针插入。实验显示系统能跟踪并预测患者呼吸周期、执行自主呼吸门控进针,并检测呼吸周期异常。作者指出,当前CT引导肺活检高度依赖人工,需要患者屏气、反复手动进针和多次CT确认扫描,自动化有望减少手术时间、患者不适与辐射暴露。
研究提出 AW-0,一个将代码规划与视频、动作联合预测结合的智能体世界动作模型框架,在统一的 mixture-of-transformers 架构中联合建模代码、未来视频和机器人动作三路生成流。
推荐理由:论文把代码规划与视频、动作联合预测放进同一架构,为世界动作模型补上技能复用这一环。
Houzhu Ding 等提出 CW-WAM,一个联合预测视频、运动与接触力旋量的世界动作模型,将运动与力旋量作为统一建模目标并输出时间对齐的运动-力旋量块作为控制参考。
推荐理由:论文把接触力旋量纳入世界动作模型,并给出插入与擦拭任务的力参考误差对比,可供力控操作研究参考。
AtomicRL 是一个面向长程机器人操作的强化学习后训练框架,通过原子任务结构做信用分配与自适应探索。它包含语义感知策略优化 SAPO 和瓶颈自适应目标探索 BATE,并配套连接仿真在线 RL 与实机部署的 Real2Sim2Real 流程。
推荐理由:论文提出面向长程操作任务的原子化强化学习后训练框架,并给出仿真基准与实机迁移的对比数据。
May Espinola 等人提出一个闭环操作框架,在 LIBERO-10 基准上评测前沿 AI 模型,模型仅凭视觉观测、本体感知和结构化工具调用控制机器人,无需任务特定微调或预训练操作技能。
推荐理由:该报告在 LIBERO-10 上统一评测六个前沿模型共 1800 个回合,可比较推理能力转化为操作动作的差距。
FlowVLA 将动作生成与物理完成度估计分离,由共享的 π_{0.5} 动作专家在边界感知监督下学习接近、倾倒和返回,并用融合视觉、关节、腕部力与循环力信念历史的目标无关估计器维持转移质量估计,当估计值加预测残余流出量达到目标质量时触发返回。
推荐理由:论文把倒水任务的返回决策拆成动作生成与转移质量估计,并给出与多个 VLA 基线的对比结果,可供研究定量操作闭环的人参考。
研究串联机器人雅可比类性能指标(可操作度、刚度等)的关节角不变性,识别出这些指标与首末关节角无关的运动学条件,从而系统降低有效构型空间维度、简化性能评估。在性能地图构建与任务布局优化两个场景中验证,该策略降低计算量与存储需求且不损失有效性。
作者提出 ContactFlowFilter,将流匹配生成模型嵌入粒子滤波框架,用于估计机械臂的接触数量、位置与力向量。该方法仅依赖关节力矩传感器和基座力/力矩传感器,以粒子滤波的递归结构处理时序依赖,用流匹配模型作为辅助提议分布跟踪多模态信念并检测接触事件。仿真与实机实验显示,实机单接触和双接触场景误差分别为 0.36 cm 和 0.88 cm,运行耗时为 0.69 ms 和 2.69 ms。
针对耦合传动机械臂遥操作中独立电机饱和破坏差动腕俯仰-滚转协调、固定映射难以应对重力负载与执行约束引起的跟踪突变,作者提出一种执行器约束感知的主从遥操作方法,联合建模主端重力补偿、主从关节映射与从端差动腕控制。
针对上肢假肢设备视觉抓取管线在多物体场景下难以区分目标的问题,研究提出在硬件中加入激光指针实现物体消歧,并配合混合现实策略复用已有高质量分割掩码程序化生成逼真图像,对识别可抓取部位的深度卷积网络重新训练。实验结果显示,该管线相比现有方案将目标消歧准确率最高提升9%,同时保持计算开销不变。
论文提出一种将欧氏距离场(EDF)直接纳入观测空间的强化学习框架,为智能体提供连续几何线索以支持稳定、反应式的避障行为。该方法在7自由度冗余机械臂上验证,实现了从仿真到真实硬件的零样本迁移;尽管训练仅使用随机静态物体,部署后的策略仍能泛化到此前未见的真实环境,并对动态障碍物表现出在线避障能力。作者认为,EDF表示有助于缓解仿真到现实的差距。
推荐理由:论文把欧氏距离场直接放进观测空间,在7自由度冗余机械臂上验证仿真到实机的零样本迁移,可供做避障策略的研究者参考。
该论文提出一种针对负载参数泛化前馈控制动作的方法,且不依赖底层控制器。作者先推导负载泛化所需的最少示例物体数量,再给出仅凭新负载参数即可执行同一轨迹的算法,无需已知机器人动力学模型,也适用于存在弹性关节的情形。方法在仿真和实验中验证,实验使用标准 Franka Emika Panda 以及加装弹性腕的 Franka Emika Panda,覆盖不同机器人与控制器的跟踪任务。
PAL 是一个面向视觉语言机器人操作的分层记忆框架,用高层 VLM 把流式视觉观测转成可执行 subtask_list,执行时再选出当前子任务交给低层 VLA 策略。
推荐理由:论文提出分层记忆框架,把长程任务规划提前写入可执行子任务列表,并给出仿真基准与四项实机任务的对比结果。
作者提出 TIDE(Training In DEployment),一个面向机器人操作的人在环在线后训练系统,可在部署过程中利用人工干预和策略自身 rollout 在线更新策略,无需学习 critic、奖励模型或动作评分器。
推荐理由:论文提出无需价值函数或奖励模型的在线后训练系统,并在四项真实双臂操作任务上对比热启动策略与离线演示。
Nuo Chen 等人提出一种将鲁棒力旋量观测器与位姿-力混合控制器结合的无传感器物理人机交互框架。该方法用神经网络补偿系统摩擦与未建模动态以提升观测器性能,并通过任务零空间分解分离关节速度、降低人类扰动对观测器的影响。实验结果显示该框架在保持位姿与力跟踪性能的同时给出力旋量估计,作者称其可应用于没有力/力矩传感器的机械臂平台。
研究提出 GPT-as-Tactile-Policy,将专家演示总结为任务指引和触觉参考,由 GPT-6-Astra 结合多模态观测与交互历史生成控制指令,无需额外机器人专用预训练或逐任务策略微调。在五项 UniVTAC 任务上平均成功率为 93.8%,Insert Hole 任务中触觉反馈将成功率从 31% 提升到 99%。执行分析显示模型能依据接触反馈进行试探与纠正。
推荐理由:论文用接触丰富操作任务检验通用多模态模型能否借触觉反馈调整动作,并给出与专用策略的对比结果。
论文提出TaskWAM,一个闭环、阶段感知的世界-动作模型框架,用Mode Tokens表示细粒度任务要求、用State Tokens跟踪执行进度,以缓解长程操作中局部合理但方向错误的推演导致的阶段混淆。
推荐理由:论文提出阶段混淆问题并给出TaskWAM与StageBench,可用于比较世界-动作模型的长程任务控制方法。
FIT-MAC 是一个失败感知的闭环多智能体控制框架,在推理阶段为 VLA 策略增加控制层以提升鲁棒性。该框架由 Planner、Grounder、Verifier 和 Correction 四个智能体组成,分别负责任务解析、视觉目标绑定、执行进度跟踪与失败类型区分,以及将干预路由到目标重绑定或有界抓取与放置恢复;无需干预时仍由预训练 VLA 生成动作。
LocoPilot 是一个单操作员双边遥操作与数据采集框架,部署在 12 自由度 Unitree Go2 四足机器人上,该机器人搭载 6 自由度 AgileX Piper L 机械臂、Intel RealSense D435 腕部相机和 D405 头部相机。
推荐理由:论文给出单操作员双边遥操作采集四足加机械臂演示的完整方案,并展示从采集到策略部署的同一动作接口。
研究提出一种带奇异恢复的高精度RCM伺服架构,用于通用机械臂在软件远心运动下执行眼科器械定位。作者将RCM与末端跟踪目标冲突导致的伺服振荡形式化为约束诱导任务奇异,即RCM投影后的末端雅可比降秩而未投影雅可比仍良态。
推荐理由:论文把眼科手术中RCM与末端跟踪冲突形式化为约束诱导任务奇异,并给出分层QP加恢复规划的实机验证路径。
作者提出 AWLS,一种针对冻结的单步生成式机器人操作策略的离线后训练方法,在不更新解码器的情况下学习观测条件化的潜噪声残差修正。该方法以优势加权动作重建目标训练该残差噪声整形器,优势值经分离和尺度归一化后仅作为示教动作的监督权重,避免使用 critic 梯度更新策略并保留单步推理。
Yosub Shin 等人提出用单个头戴相机(122 美元)替代腕部相机和位姿追踪器,通过读取无电子手套(22 美元)上的印刷标记与工作区纸片,从同一帧中解出 6-DoF 夹爪位姿和夹爪开度。
推荐理由:论文用单个头戴相机替代腕部相机与位姿追踪器,给出无电子手套的标注精度和策略成功率对比,可供数据采集方案选型参考。
JARVIS 是一个无需额外语言指令、由视觉说明书引导自主装配的方法无关基准,包含 8,987 个场景中的 236,679 个 LEGO 装配任务,并从中整理出 50 个任务的 JARVIS-v1 套件用于交互式机器人评测。
推荐理由:该预印本提出视觉说明书引导装配的基准与智能体方法,并给出九款模型在长程任务上的表现差异。
研究团队在 arXiv 发布 ThERMO,一种基于实时热成像的闭环速度优化算法,用于 UR10e 机械臂 ASTR 系统上的自主电外科手术。在离体猪组织实验中,ThERMO 相比两种固定速度方法将热损伤降低最多 52%、切割精度提升最多 59%,并保持任务完成速度,且无需数据驱动训练或迭代调参。组织学分析用于检测细胞层面的热损伤范围,3D 摄影测量用于验证切缘精度。
推荐理由:论文给出闭环热成像调速在离体猪组织上的对照结果,可用于比较自主电外科的闭环控制与固定速度方案。
Shiza Charania 提出 HATCH 机器人操作基准,以传感器确认任务完成并解锁下一任务,把房间串成一条长程评测链。任务覆盖五类技能、三个难度等级,物体摆放由运行日种子随机化,评分与机器人本体无关。参赛者需提交未剪辑视频、传感器日志和种子作为自证运行,任务规范、搭建指南、物料清单与评分细则以开放许可发布。
论文提出一套用加装机械臂的Boston Dynamics Spot四足机器人自主堆叠砖块的概念验证系统,在供料区与装配区之间依靠AprilTag定位和autowalk任务导航。
研究提出一套面向农业抓取任务的仿真到现实机器人学习框架,将预训练的通用机器人策略适配到农业操作场景。团队搭建基于 MuJoCo 的番茄植株仿真环境,通过摇杆遥操作采集专家演示,并用这些演示适配 Octo 和 π0.5 两个预训练策略,随后在 Franka Research 3 机械臂上用真实机器人演示进一步微调。
上海交大等作者提出 Constraint-preserving Temporal Recombination(CTR),一种训练期数据干预方法,在保留各臂局部传感运动内容的同时重新调整片段时序,以保留任务要求的跨臂约束。
推荐理由:论文提出训练期数据干预方法 CTR,用于削弱双臂模仿学习中的虚假跨臂耦合,并在仿真与实机任务上对比多种策略。
ALIGN 提出一种条件对齐的优势条件行为克隆(AC-BC)框架,用于视觉-语言-动作策略,直接预测策略标签空间中的类别化成对条件,并通过 AdaRMS 调制与流时间融合注入 DiT 动作专家。
推荐理由:论文针对混合质量机器人数据下的优势条件行为克隆,提出条件对齐框架,并在两个实机任务上给出闭环成功率对比。