DexOAK:面向机器人手部参考的物体感知运动学重定向框架
DexOAK 是一个基于学习的物体感知运动学重定向框架,可从人体动作捕捉数据生成接触一致的机器人手部参考。它先在手-物联合图上最小化交互图拉普拉斯目标,再训练以人体关键点和物体点云为条件的前馈网络,并用接触、非穿透和自碰撞损失微调,训练后仅靠推理即可迁移到未见数据。
推荐理由:论文给出物体感知的运动学重定向方法,并报告双手任务成功率与实机开环回放结果,可供灵巧操作数据生成参考。
内容类型
按内容形态浏览
327 条精选近 30 天 327 条共收录 632 条
DexOAK 是一个基于学习的物体感知运动学重定向框架,可从人体动作捕捉数据生成接触一致的机器人手部参考。它先在手-物联合图上最小化交互图拉普拉斯目标,再训练以人体关键点和物体点云为条件的前馈网络,并用接触、非穿透和自碰撞损失微调,训练后仅靠推理即可迁移到未见数据。
推荐理由:论文给出物体感知的运动学重定向方法,并报告双手任务成功率与实机开环回放结果,可供灵巧操作数据生成参考。
研究对比了两种 LEAP Hand 指型布局(拟人与对称)在连续手中物体旋转任务中的表现,两版手均集成 TacTip 视觉触觉传感器并共用同一强化学习框架。仿真中,完整触觉观测相比仅本体感知使每回合平均归一化旋转量在拟人手提升 94.8%、对称手提升 66.9%,且回合更长、平均指尖总载荷更低。硬件实验中,对称手平均旋转次数高 32.0%、总旋转速率高 25.8%,平均指尖总载荷低 19.9%。
推荐理由:研究在仿真与实机上对比两种 LEAP Hand 指型布局,量化触觉观测与手指排布对旋转进度和指尖受力的影响。
论文提出 Prior-Informed Adaptation(PIA),一个离线到在线的基于模型强化学习框架,先在高保真与低保真仿真轨迹上预训练世界模型,再用不确定性正则化规划在目标域少量交互中完成适应。
推荐理由:论文提出用仿真轨迹作为有偏先验、在线校正残差的世界模型强化学习框架,并在真实赛车实机验证少样本适应。
论文提出 Value Disaggregation(VaDar),训练一个与子目标无关的单一策略,最大化各子目标 critic 值的线性组合,子目标信息只在训练时使用,部署时无需选择子目标。
推荐理由:论文提出用价值分解替代子目标条件策略,省去部署时的子目标选择,并在 RoboCasa 长程任务上给出对比结果。
ReInsVLN 提出一种免训练框架,在冻结的导航器中构建并利用历史记忆,在 R2R Val-Unseen 上相较原生 StreamVLN 和 InternVLA-N1 成功率分别提升 8.48 和 3.37 个百分点,达到 64.27% 和 64.44%。
推荐理由:论文提出免训练的历史证据复用框架,并给出在 R2R Val-Unseen 上的成功率提升与压缩带来的时延、显存收益。
上海交大等作者提出 Constraint-preserving Temporal Recombination(CTR),一种训练期数据干预方法,在保留各臂局部传感运动内容的同时重新调整片段时序,以保留任务要求的跨臂约束。
推荐理由:论文提出训练期数据干预方法 CTR,用于削弱双臂模仿学习中的虚假跨臂耦合,并在仿真与实机任务上对比多种策略。
SPAR 提出对 VLA 模型 LLM 主干同时剪枝隐藏层与前馈中间维度,再用强化学习恢复策略性能。应用于 π0.5 时,语言主干从 2.34B 降至 0.09B 参数,完整模型从 3.37B 降至 1.12B,分别移除约 96% 和 67% 的参数。
推荐理由:论文给出 VLA 模型结构化剪枝后接强化学习恢复的具体压缩比例与 LIBERO 成功率变化,可作为紧凑策略部署的参考。
ALIGN 提出一种条件对齐的优势条件行为克隆(AC-BC)框架,用于视觉-语言-动作策略,直接预测策略标签空间中的类别化成对条件,并通过 AdaRMS 调制与流时间融合注入 DiT 动作专家。
推荐理由:论文针对混合质量机器人数据下的优势条件行为克隆,提出条件对齐框架,并在两个实机任务上给出闭环成功率对比。
RoboMMT 提出一种模块化控制架构,将参数化表达动作合成、基于物理的角色控制与面向空间交互目标的反应式适应耦合起来,训练一个参考条件跟踪策略在广泛表达域内保持动态稳定。
推荐理由:论文给出耦合表达动作合成与物理角色控制的模块化架构,并对比了覆盖域不足的跟踪器失稳情况。
研究团队提出 ForagerSim,一个面向需要地图推理的具身任务的跨学科研究平台与仿真环境,场景覆盖移动机器人搜救与动物觅食,可在复杂迷宫和可能无限大的开阔区域中运行。
推荐理由:该预印本提出可调感知、尺度、拓扑与动态难度的仿真平台,用于比较学习策略与地图基线在需地图推理任务上的差距。
Cartender 提出从真实驾驶记录中学习未被采取的分支,用视觉语言模型生成替代未来及对应指令,并以不支持的指令作为负标签,从而在无仿真器条件下构造匹配与不匹配的指令-动作对。
推荐理由:论文用真实记录构造反事实分支来监督语言条件驾驶,并给出同场景换指令的评测方式,可供研究语言条件策略如何区分场景约束与指令。
作者提出HS-MoDP,通过共享专家池上的独立语义路由,把分别演示的手臂技能组合起来,在Unitree G1上取得比基线更强的技能组合效果。为采集全身接触操作演示,团队开发了同构外骨骼G1Exo,对机械臂构型提供关节级直接控制。
推荐理由:论文提出用同构外骨骼采集接触操作演示,并比较其与VR-IK遥操作对策略学习的影响,可供研究遥操作数据质量的人参考。
Kryštof Pšenička与Stefan Edelkamp提出一套完整的GPU常驻管线,用于多机器人对水下结构做3D巡检:输入三角网格和K台携带短距、有限视场相机的机器人,输出联合覆盖目标比例表面的6自由度轨迹,并最小化线性插值的完工时间与总成本目标。
推荐理由:论文给出多机器人水下结构巡检的GPU常驻五阶段管线,并公开代码与14个网格的消融结果,可供规划与覆盖问题参考。
研究提出ERR-Env可验证交互环境与ERR-Bench基准,用于评估具身VLM在正常、中间和错误状态下的恢复能力与执行可靠性。作者进一步提出在线强化学习方法Action-Grouped Turn-GSPO(AGT-GSPO),结合回合级任务进度与错误状态奖励及动作分组优势估计,训练出2B参数的ERR-VLM。
推荐理由:论文给出可验证交互环境与错误恢复基准,并报告2B模型在严格成功率与恢复率上的提升幅度。
OmniInteract 提出面向双人形机器人全身物理交互的统一控制方法,通过表面接触感知重定向与可扩展残差策略学习应对人机形态差异和交互多样性增长带来的控制保真度下降。
推荐理由:论文提出面向双人形机器人全身交互的统一控制方法,用表面接触感知重定向与残差策略分解应对形态差异和技能扩展。
SSIO 提出积分自监督方案,让惯性里程计模型从零训练时不再依赖真值轨迹,只需标定 IMU 并在正常运行时记录数据。该方法先用短窗积分 IMU 的教师模型监督学生模型,学生直接预测速度且精度高于教师,再用多窗口位姿图蒸馏序列一致目标。在覆盖行人、无人机、四足机器人和人形机器人的六个数据集上,同一套无速度或位置标签的训练流程所得模型平均速度误差与同架构有监督基线相差 0.07 m/s。
推荐理由:论文提出用短窗积分自监督替代真值轨迹训练惯性里程计,并在行人、无人机、四足和人形六套数据上验证。
FR-VLA提出一种视觉语言力推理模型,用可学习的力查询token基于视觉语言上下文生成力准入信号,再用该信号调制外部的token化力通路来生成动作。作者指出已有VLA通常以固定通路注入力信息,未显式判断力反馈与当前动作是否相关。在两个机器人平台的五个接触密集任务实机实验中,FR-VLA在六个评估阶段取得最高平均成功率,轨迹可视化显示其力准入随交互阶段变化。
推荐理由:论文提出在力进入动作通路前先由视觉语言上下文判断力相关性的机制,并在两个机器人平台的五类接触密集任务上做了实机对比。
SkateNav 提出一个基于强化学习的滑行导航框架,让被动轮四足机器人同时学习转向、推进和两者的时间分配。该框架用带时间预算的到达目标替代速度跟踪,并通过自适应滑行周期与每步频率调制调整滑行、推进和恢复的时长。
推荐理由:论文给出滑行导航的强化学习框架与仿真对比,并展示从仿真到被动轮 Mini Cheetah 的零样本迁移。
PaceVLA提出一种面向视觉-语言-动作模型的自适应时间执行框架,通过多粒度动作解码与路由选择减少低层动作步数。该框架包含基于共享动作专家的模式专用解码器,以及判断粗粒度执行是否合适的可量化性引导模式选择与上下文条件路由器。作者在三个多任务仿真基准和六个真实世界任务上测试,称其在多种本体包括长程与灵巧操作中提升执行效率并保持任务成功率。
推荐理由:论文针对VLA执行时延问题提出自适应时间动作量化框架,并在三个仿真基准和六个实机任务上验证。
CondenseVLA 提出一种带可学习解码端历史压缩模块的多帧 VLA 策略,用可学习查询和多头交叉注意力把缓存的逐帧特征压缩为固定数量的 slot token,用于动作解码。
推荐理由:论文提出可学习的历史压缩模块,并给出仿真与实机成功率对比,可用于比较多帧 VLA 的历史信息利用方式。