技术方向
与机器人感知、决策和物理交互直接相关的灵巧操作进展
29 条精选近 30 天 29 条共收录 41 条
OmniDex提出可扩展的seed-and-filter策略，构建了包含超260万场景和0.4B场景特定抓取真值的杂乱场景灵巧抓取基准。研究同时提出OmniDex模型，通过Soft Winner-Takes-All学习、类人物理约束训练和物理驱动排序，避免后优化延迟。实验称该模型在多样场景、视角和未见物体上取得state-of-the-art性能与较强泛化。
推荐理由：论文同时给出260万杂乱场景抓取数据集与OmniDex模型，可用于比较仿真数据规模与灵巧抓取泛化路线。
DexSuite 是一个基于 Genesis 模拟器的开源一体化灵巧操作仿真框架，提供 30 个任务，并把 10 种机械臂与 12 种末端执行器（从平行夹爪到灵巧手）组合成 100 多种单臂机器人和数千种双臂组合。
推荐理由：该框架把机械臂、末端执行器、任务、遥操作与触觉仿真整合进同一套开源环境，并给出基准与示范数据集。
SwapBot 是一套模块化、以工具为中心的末端执行器系统，用低成本适配器把常见家用工具快速转换为机器人末端执行器，并支持快速自主更换。每个适配器集成紧凑触觉传感器，并接入遥操作系统用于采集演示；用户研究显示遥操作时任务完成时间和操作者负担均降低。
推荐理由：论文给出可换工具末端执行器与触觉传感器的硬件方案，并用消融实验比较触觉对接触密集任务策略的影响。
TouchBridge 提出硬件与软件协同的人到机器人数据转换框架，通过可穿戴人类演示接口与对应机器人接口建立视觉和指尖触觉的跨本体对应。其 Tac-Retarget 方法以实测接触对齐指尖接触区域，无需物体网格、位姿估计或物理仿真即可完成重定向。
推荐理由：论文给出触觉条件重定向的人到机器人数据转换框架，并报告四类实机接触任务的成功率与采集效率对比。
AcrossDEX 1.0 是一个连接人体运动预训练、仿真专家学习、机器人演示采集与视觉闭环执行的学习系统，支持六通道 Inspire 手和十六关节 Allegro 手两种本体。
推荐理由：论文给出跨两种灵巧手本体的统一适应流程，并比较直接回归、扩散与流匹配在开盖和物体重定向任务上的成功率。
Xinyuan He 等提出一个分层三阶段框架，用于运动学与触觉对齐的灵巧手重定向，以物体为中心的接触力旋量空间作为人手与机械手之间的触觉对齐物理表示。框架先对齐手部运动学与接触几何，再根据触觉力与接触几何构建人手力旋量支撑剖面，随后优化机器人指尖力目标以覆盖该支撑并转换为关节位置修正，得到可直接回放的机械手轨迹。
推荐理由：论文提出以物体接触力旋量空间对齐人手与机械手触觉信息的三阶段重定向框架，并在实机倒水任务中报告96.7%回放成功率。
论文提出 Tactus，一款织物集成传感手套，同时提供指尖触觉力感知与抗遮挡手部位姿追踪，用于采集自然状态下的人手操作演示数据。其指尖堆叠厚度为 1.5 mm，在 95% 置信度下最小可检测力为 0.59 N，比两款商用触觉手套基线低 1.6 至 2.7 倍，跨参与者一致性为 0.87；操作过程中遮挡最严重时指尖关键点相对误差为 11.0 mm。
推荐理由：论文给出触觉手套的传感配置与跨平台量化对比，可用于评估灵巧操作数据采集方案。
Catch It All! 提出面向人形机器人的 sim-to-real 抓取框架，仅用一台自我视角相机即可完成上手与下手抓取，并泛化到未见物体。作者称策略可适应几何形状、可变形性、弹性等物理属性不同的新物体，并通过抓取奖励设计与安全感知课程支持接近硬件极限的高频动作执行，包括低至 5 Nm 的腕部力矩限制。
推荐理由：论文给出仅用单目自我视角相机、零样本部署于宇树 G1 的抓取框架，可用于比较动态抓取的泛化设定。
研究提出一套在仿真中为LEAP手训练手内物体位姿到达策略的方案，无需人类数据，经系统辨识后零样本迁移到真实手，可用动捕或单个腕部深度相机。在4个物体、4800个未见目标、13.3小时实机评测中，基于状态的策略在2厘米和0.4弧度内到达95.2%的目标，叠加可调保守度的学习残差安全过滤器后掉落减少75%，仍到达91.5%的目标。策略还能旋转任意姿态的灯泡、到达分布外目标并承受快速手臂运动与扰动。
推荐理由：论文给出LEAP手在仿真中训练、零样本迁移实机的手内物体位姿到达方案，并量化了安全过滤对掉落率的取舍。
ARPG 提出将动作表征学习与动作生成分离，先在大规模人类操作数据上预训练动作表征编码器，再冻结编码器、用 130M 参数的生成骨干在表征空间中学习任务条件动作分布。
推荐理由：论文把动作表征预训练与动作生成拆开，为灵巧操作提供了一条独立于数据规模之外的扩展路径。
RynnVLA-Latent提出用异构交互视频做机器人策略预训练，其RynnLAM模块无需原生机器人控制即可从视觉变化中学习连续、3D接地的潜在动作。研究在30.1K小时人类、机器人和仿真视频上生成745.52M个潜在动作描述符，再通过流匹配预测潜在动作块并适配到具体本体动作。
推荐理由：论文用30.1K小时异构视频学习3D接地的潜在动作，为VLA预训练绕开动作标注稀缺提供了一条可比较的路径。
AdaDexTrack 提出一种调制器在环的框架，用于语言条件下的灵巧手物交互跟踪。该框架以大规模专家到通才蒸馏得到的跟踪器承载技能，调制器经强化学习训练，对参考轨迹、物体隐表示和位置目标做三类反馈修正。作者称其在未见轨迹和未见物体集合上的平均跟踪误差与成功率均优于此前 SOTA，并在真实硬件上展示了零样本 sim-to-real 迁移，加入调制器相比仅用跟踪器有显著提升。
推荐理由：论文把语言条件下的灵巧操作重构为闭环调制跟踪，并给出未见轨迹与实机零样本迁移的对比结果。
ORBIT 是一个模块化多指机器人手平台，核心是旋转指节机构，独立手指通过皮带传动绕圆柱形手掌移动，可在不到 1 秒内完成手指布局重构而无需拆解手部。作者用三指版本开展初步抓取研究，在 11 个尺寸、形状和纹理不同的物体上比较拟人、等距和 Barrett 式三种手指布局，并演示立方体面重定向、拧盖和亚厘米物体精密捏取等固定指节设计较难完成的任务。
推荐理由：ORBIT 用旋转指节实现手指布局快速重构，为比较不同多指手形态提供统一硬件平台。
DexPort 是一个面向高自由度机器人灵巧手的手持数据采集接口，采集与部署使用同一套手部硬件，并记录指令关节目标与实测关节状态。操作者移动手持接口指定机器人腕部运动，再选择或调整技能来协调手指动作，无需逐关节控制。作者在4类真实任务上采集超过2500条演示，用行为克隆直接训练视觉运动策略；使用记录的机器人指令替代关节状态时成功率从11%提升到64%，使用野外数据时任务成功率从36%提升到78%。
推荐理由：论文提出用手持接口采集高自由度灵巧手数据，并给出4类任务的成功率对比，可供比较遥操作与人体演示两条数据路线。
DONIC 是一个通用双手灵巧跟踪器，在操作类别与人体运动来源上联合训练，并配套发布 BiHOI 多视角数据集，包含 1575 段序列、229 个物体。方法将近端策略优化与行为克隆结合成反馈回路，把验证成功的执行回收为训练演示，并用以物体为中心的逐手奖励和 Clip-Centered Advantages 支持单一策略学习异构参考下的协调操作。
推荐理由：论文同时给出双手灵巧跟踪模型与1575段多视角数据集，并报告未见轨迹与未见物体上的成功率，可用于比较双手操作跟踪方法。
SpatialDex提出一种从纯RGB人类视频学习3D双臂灵巧操作的框架，通过重建场景几何并结合手部运动估计进行视觉运动预训练。该方法将重建几何同时作为策略输入和预测目标，用门控残差融合把预训练视觉语言模型的token网格锚定到该几何上，并预测未来场景几何与手腕、手指动作。
推荐理由：论文给出从纯RGB人类视频重建场景几何并联合预训练双臂灵巧策略的方法，附仿真与实机对比结果。
COWBOY 是一个可扩展的 sim-to-real 框架，用于学习情境化全身操作，在全身灵巧抓取任务上零样本迁移到数百个物体和杂乱桌面、货架、抽屉等非结构化场景。
推荐理由：论文给出把场景感知全身控制器与局部强化学习专家蒸馏为单一视觉策略的 sim-to-real 框架，可参考其分层训练思路。
T-WLA 提出一种世界-语言-动作架构，用共享视觉记忆同时指导动作生成与触觉修正。每次视觉更新时，视觉分支把当前图像、任务指令和检索到的历史整合为视觉记忆，用于生成基础动作；同一记忆被缓存给轻量触觉编辑器，结合当前动作块与触觉输入预测未执行动作的残差修正，无需重跑视觉分支。
推荐理由：论文提出用共享视觉记忆驱动轻量触觉修正器，避免视觉策略重算带来的延迟，可供接触密集操作研究比较。
AdaDex 是一个目标条件强化学习框架，能把数秒的单条手-物轨迹（来自动捕或野外 RGB(D) 视频的 HOI 重建）转化为可泛化的灵巧技能。其核心 Hybrid Dexterous Mimicking 在两类大规模并行环境上训练共享策略：密集运动跟踪环境注入人类先验，带噪声初始状态与稀疏物体成功奖励的泛化环境迫使技能脱离参考轨迹。
推荐理由：论文提出混合模仿与目标条件强化学习框架，把数秒人手轨迹转成可泛化的灵巧操作技能，并给出跨仿真器与实机迁移结果。
论文提出TaskWAM，一个闭环、阶段感知的世界-动作模型框架，用Mode Tokens表示细粒度任务要求、用State Tokens跟踪执行进度，以缓解长程操作中局部合理但方向错误的推演导致的阶段混淆。
推荐理由：论文提出阶段混淆问题并给出TaskWAM与StageBench，可用于比较世界-动作模型的长程任务控制方法。