UMI 手套新方案:单个头戴相机完成无电子手套的标注与观测
Yosub Shin 等人提出用单个头戴相机(122 美元)替代腕部相机和位姿追踪器,通过读取无电子手套(22 美元)上的印刷标记与工作区纸片,从同一帧中解出 6-DoF 夹爪位姿和夹爪开度。
推荐理由:论文用单个头戴相机替代腕部相机与位姿追踪器,给出无电子手套的标注精度和策略成功率对比,可供数据采集方案选型参考。
技术方向
与机器人感知、决策和物理交互直接相关的数据集进展
48 条精选近 30 天 47 条共收录 69 条
Yosub Shin 等人提出用单个头戴相机(122 美元)替代腕部相机和位姿追踪器,通过读取无电子手套(22 美元)上的印刷标记与工作区纸片,从同一帧中解出 6-DoF 夹爪位姿和夹爪开度。
推荐理由:论文用单个头戴相机替代腕部相机与位姿追踪器,给出无电子手套的标注精度和策略成功率对比,可供数据采集方案选型参考。
JARVIS 是一个无需额外语言指令、由视觉说明书引导自主装配的方法无关基准,包含 8,987 个场景中的 236,679 个 LEGO 装配任务,并从中整理出 50 个任务的 JARVIS-v1 套件用于交互式机器人评测。
推荐理由:该预印本提出视觉说明书引导装配的基准与智能体方法,并给出九款模型在长程任务上的表现差异。
Ropedia W0 是作者提出的第一视角移动操作世界基础模型,覆盖人类与多种机器人本体。其 Xp-Data 包含 1 万小时第一视角人类数据和 3 千小时机器人数据,并配有统一多模态标注;模型用相机位姿编码移动、用投影骨架编码操作。
推荐理由:该工作构建跨人类与机器人的第一视角移动操作世界模型,并公开数据规模与五项基准评测结果,可供比较世界模型路线。
HandsOn 是一个面向跨本体灵巧操作的组合式仿真平台与基准,支持五种机械臂、六种灵巧手和约200个刚体、铰接与可变形资产,并配有18000条人工演示和66个经人工核验的任务。
推荐理由:该预印本给出跨本体灵巧操作仿真基准的规模与任务划分,并列出多类策略在Core-50上的成功率对比。
RoboValue 是一个细粒度仿真与实机基准,用于统一评测机器人价值模型,通过共享接口考察任务状态理解、时序进度监控、失败与恢复推理、价值一致性四个能力维度。
推荐理由:该预印本提出覆盖四类能力维度的机器人价值模型评测基准,并给出仿真与实机任务上的诊断结果。
AQUAACT 是作者称为首个公开的语言标注水下数据集,将相机图像与人类摇杆指令配对,包含 1.9 小时真实演示和 17.9 小时仿真演示,并附车辆惯性测量数据。实验显示仿真演示可迁移到真实数据,并大幅减少策略所需的真实演示量。在仿真中对七种策略(从模仿学习基线到 VLA 模型)的闭环基准测试显示,没有策略完成超过五分之一的回合,陆上数据预训练也未让大型 VLA 模型优于从头训练的小策略。
推荐理由:论文公开了带语言标注的水下遥操作数据集,并用七种策略的闭环基准说明水下自主任务仍未解决。
作者提出 T(R,O) Grasp++,一个面向杂乱环境的跨本体灵巧抓取合成扩散框架,并构建约 0.5B 条抓取标注、覆盖八种灵巧手和约 5 万物体的仿真基准。实验称该模型在八种灵巧本体上平均成功率达 88%,推理时延仅 0.3s,推理样本效率提升 10 倍以上。该工作为预印本,结果基于仿真实验。
推荐理由:论文给出约5亿条抓取标注的仿真基准与跨八种灵巧手的扩散抓取框架,可用于比较杂乱场景抓取方法。

AWS 开源 SDK Strands Robots 联合 LeRobot 与 Hugging Face Storage Buckets,演示在同一 agent 内完成演示录制、从 Hub 流式读取训练、再把 checkpoint 部署回硬件的闭环。
推荐理由:以 Strands Robots 与 LeRobot 为例,演示录制、流式训练、部署回硬件的数据闭环,并给出存储去重与安全边界的具体做法。