Ego-OSCAR：不到200美元的开源头戴立体视觉采集系统与550小时数据集
作者团队提出开源头戴采集系统 Ego-OSCAR，用不到200美元的通用零件与3D打印件搭建，将硬件同步全局快门立体相机与6轴IMU结合，并用微控制器把相机与惯性时钟域对齐到700微秒残差。
推荐理由：论文给出不到200美元的开源头戴立体采集硬件与约550小时数据集，可用于比较自采具身视觉数据的成本与可复现性。
技术方向
数据集 最新动态
与机器人感知、决策和物理交互直接相关的数据集进展
48 条精选近 30 天 47 条共收录 69 条
更新
数据集的精选
arXiv · cs.RO精选AI 评分7272 arXiv · cs.RO精选AI 评分7272 HumiMimic：从野外视频迁移人-人形机器人交互动作
作者提出 HumiTransfer 框架，将野外人人交互视频转换为物理合理的人-人形机器人交互动作，并据此构建 HumiMimic 数据集。该数据集覆盖 26 自由度 Unitree R1 Edu 与 23 自由度 HighTorque Mini-hi 两款机器人，由 1200 段视频生成约 50 万帧交互数据。
推荐理由：论文提出从野外人人交互视频迁移到人形机器人的框架，并构建约50万帧数据集，可用于比较跨本体动作迁移方法。
arXiv · cs.RO精选AI 评分6767 OmniDex发布260万杂乱场景数据集与灵巧抓取模型
OmniDex提出可扩展的seed-and-filter策略，构建了包含超260万场景和0.4B场景特定抓取真值的杂乱场景灵巧抓取基准。研究同时提出OmniDex模型，通过Soft Winner-Takes-All学习、类人物理约束训练和物理驱动排序，避免后优化延迟。实验称该模型在多样场景、视角和未见物体上取得state-of-the-art性能与较强泛化。
推荐理由：论文同时给出260万杂乱场景抓取数据集与OmniDex模型，可用于比较仿真数据规模与灵巧抓取泛化路线。
arXiv · cs.RO精选AI 评分7272 EgoHTR发布第一视角人体地形穿越4D演示数据集
EgoHTR数据集发布，用第一视角可穿戴设备与便携3D扫描仪采集了55段场景对齐的4D人体运动序列，覆盖多样复杂环境，共超过15万帧。作者称该数据在运动捕捉真值对比中达到当前先进精度，并据此训练感知式运动策略，在Unitree G1上完成重建参考动作的硬件部署。重建流程已开源，支持社区扩展数据集。
推荐理由：该数据集用第一视角可穿戴设备与便携3D扫描仪采集55段场景对齐的4D人体运动序列，并给出实机部署结果，可供人形机器人在非结构化地形上的学习研究参考。
arXiv · cs.RO精选AI 评分7272 AffordSim：面向可供性感知机器人操作的可扩展数据生成器与基准
AffordSim 是一个将开放词汇3D可供性预测集成到仿真轨迹生成中的数据生成器与基准，可根据自然语言任务描述合成场景、生成可供性查询并采样区域条件抓取，再用运动规划筛选可执行候选。
推荐理由：论文给出将开放词汇3D可供性预测接入仿真轨迹生成的数据生成器与50任务基准，可用于比较可供性感知操作的数据构建方式。
arXiv · cs.RO精选AI 评分7878 DexSuite 发布开源灵巧操作仿真框架，覆盖 30 个任务与 100 多种单臂机器人
DexSuite 是一个基于 Genesis 模拟器的开源一体化灵巧操作仿真框架，提供 30 个任务，并把 10 种机械臂与 12 种末端执行器（从平行夹爪到灵巧手）组合成 100 多种单臂机器人和数千种双臂组合。
推荐理由：该框架把机械臂、末端执行器、任务、遥操作与触觉仿真整合进同一套开源环境，并给出基准与示范数据集。
arXiv · cs.RO精选AI 评分6262 BURGER：用机器人绘画基准评测VLA模型的泛化能力
作者提出BURGER，一个语言条件机器人绘画基准，并提供可在仿真和真实世界生成连续绘画轨迹的提示驱动流水线。研究用282个绘画任务、28200条仿真演示评测5个代表性VLA模型，分析数据规模、语言落地和多模态行为，发现不同模型呈现不同失败模式。团队还将训练策略部署到Franka Panda机械臂，展示在人工干预下进行反应式绘画。
推荐理由：该预印本用绘画任务构建语言条件机器人基准，覆盖282个任务和5个VLA模型，便于比较不同模型的语言落地与动作生成失败模式。
arXiv · cs.RO精选AI 评分7878 RoboAtom 提出大规模原子动作监督数据集 RoboAtom-Data
RoboAtom 提出 RoboAtom-Data，为多来源现有数据补充统一、时间对齐的原子动作标注，覆盖 145 万条轨迹、688 万个技能标注片段和 16882.1 小时。其流程结合统一协议、大规模人工标注、同一有序技能序列重复执行间的传播以及多阶段质量控制。作者构建 RoboAtom-Bench 以标准化技能识别与时间边界定位评测，基于标注数据训练的 RoboAtom-Anno 在该基准和外部 WGO-Bench 上优于所评估的开源与闭源模型。
推荐理由：论文给出跨来源统一原子动作标注的数据规模与构建流程，并附技能识别基准和分层执行对照实验。
arXiv · cs.RO精选AI 评分7878 UMI-Live：开源双臂UMI野外数据采集系统发布
作者提出UMI-Live，一套用于野外双臂数据采集的开源全栈UMI系统，其定制硬件集成相机与LiDAR-惯性传感、板载计算和供电，无需外部追踪设备或在采集环境中标定。系统提供简单录制界面，异步流水线并行进行SLAM重建并发布可直接用于训练的数据集，同时发布支持双YAM遥操作及VLA策略训练与推理的软件。作者用π0.5和MolmoAct2微调验证数据质量，在双臂抓放任务上成功率分别为10/10和8/10，并公开三个任务共40小时的UMI-Live数据及硬件设计、软件和复现指南。
推荐理由：该系统把相机与激光雷达惯性传感、机载计算和异步SLAM流程整合成免外部追踪的双臂采集方案，并附40小时数据与复现指南。
arXiv · cs.RO精选AI 评分7272 WorldFlow：大规模预训练联合预测视频与3D运动
WorldFlow 提出一种生成式世界模型，通过将3D运动参数化为与视频网格对齐的连续位移 token，用统一的 Mixture-of-Transformers 骨干在 rectified-flow 目标下同时去噪视频与基于查询的3D轨迹。
推荐理由：论文把视频与3D轨迹放进同一生成骨干联合预测，并给出跨仿真与真实域的训练规模和基准误差对比。
arXiv · cs.RO精选AI 评分7171 Event2Reward：从进度关系学习机器人奖励
Event2Reward 提出从机器人演示中学习奖励的方法，用归一化时间标签锚定进度尺度，并用轨迹内的停滞、回退与恢复关系约束局部变化，将进度预测作为奖励塑形的势函数。
推荐理由：论文用轨迹内的停滞、回退与恢复关系约束进度预测，为从失败执行中构建稠密奖励提供了一种可迁移方法。
arXiv · cs.RO精选AI 评分6767 EgoContact：用第一视角视频评估物理智能的接触点预测数据集
EgoContact 是一个大规模第一视角数据集，用于通过未来接触点预测评估学习到的操作先验的泛化性与精度，包含 22.5K 条人工核验的交互事件，每条含接触前观测、语义意图和像素级接触位置。
推荐理由：论文给出2.25万条人工核验的第一视角接触点数据，并展示将其用作现有可供性迁移策略记忆库后抓取成功率的提升。
arXiv · cs.RO精选AI 评分6767 ReSTEP数据集与REMORA模型：面向长程机器人任务的进度跟踪基准
作者开源ReSTEP数据集，包含两个操作任务的3156条轨迹，带语义阶段标签和帧级错误标注，覆盖成功执行、失误与恢复过程。基于该数据集，作者提出在线进度估计器REMORA，结合循环视觉记忆、分布预测和因果峰值选择来跟踪任务进度。在两个ReSTEP任务上的实验显示，REMORA在进度准确率和时间一致性上优于SARM基线。
推荐理由：论文开源了带帧级错误标注的长程操作数据集，并提出在线进度估计模型，可供比较任务进度监控方法。
arXiv · cs.RO精选AI 评分7171 Tactus：面向自然灵巧操作数据采集的触觉与位姿传感手套
论文提出 Tactus，一款织物集成传感手套，同时提供指尖触觉力感知与抗遮挡手部位姿追踪，用于采集自然状态下的人手操作演示数据。其指尖堆叠厚度为 1.5 mm，在 95% 置信度下最小可检测力为 0.59 N，比两款商用触觉手套基线低 1.6 至 2.7 倍，跨参与者一致性为 0.87；操作过程中遮挡最严重时指尖关键点相对误差为 11.0 mm。
推荐理由：论文给出触觉手套的传感配置与跨平台量化对比，可用于评估灵巧操作数据采集方案。
The Robot Report精选AI 评分7878 
WorldOracle 发布动作条件世界模型基准，对照真实执行评测七款模型
普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学、NVIDIA 与智元机器人联合推出 WorldOracle，用同一初始观测和同一动作序列把动作条件世界模型的预测与真实执行逐帧对照评分。
推荐理由：WorldOracle 用同一初始帧与动作序列对照真实执行，给出七款世界模型的分解评分与长时程退化数据。
arXiv · cs.RO精选AI 评分6363 SkelGG-CNN：骨架引导的机器人抓取自动标注与4-DoF到6-DoF执行
作者提出基于直线骨架的自动标注算法，无需人工干预即可生成双指抓取关键点，并训练出4-DoF的SkelGG-CNN。该模型在Jacquard V1、Jacquard V2和Cornell上分别达到95.42%、96.55%和97.1%的准确率；6-DoF自动标注在GraspNet novel split上平均精度为18.33。
推荐理由：论文提出基于骨架的自动抓取标注流程，并给出4-DoF与6-DoF在公开数据集、仿真和Delta并联机器人实机上的结果。
arXiv · cs.RO精选AI 评分7272 Embodied at Sea：面向水下多任务操作的模仿学习研究
纽约大学等团队发布预印本 Embodied at Sea，研究模仿学习在水下多任务操作中的表现。团队在平静与湍流水域采集1616条水下操作数据，训练14个不同本体感知配置的 DynamicVLA 模型，在泳池1260次可评分实机回放中10个模型超过基线，最佳模型总体成功率93.3%（含部分成功）。
推荐理由：论文给出水下多任务模仿学习的实机回放数据与开源工具包，可用于比较通用VLA与单任务策略在域偏移下的表现。
arXiv · cs.RO精选AI 评分6767 RESPLE2：惯性先验递归非均匀样条多传感器里程计与全局优化
RESPLE2 提出一种基于非均匀 B 样条的递归多传感器状态估计框架，用于 6-DoF 运动表示。该方法利用样条节点夹持边界性质，由惯性运动学直接预测控制点，并在迭代扩展卡尔曼滤波中用部分惯性测量完成预测，更新步骤按原始时间戳融合 LiDAR、相机、IMU 与腿部运动学。
推荐理由：论文给出惯性先验驱动的非均匀B样条多传感器里程计方法，并公开代码与实验数据集，便于对照多平台动态场景的估计精度。
arXiv · cs.RO精选AI 评分7171 AuRA：通过自主机器人交互从原子到比特重建数字孪生
AuRA 是一套自动化机器人交互与数据准备系统，用于数字孪生重建，结合执行感知抓取选择、由机器人状态推导的夹爪运动测量以及配准的交互前几何与外观先验。在 13 个可变形物体上，AuRA 将每个成功重建资产的主动人工投入和实际采集时间分别减少 88.5% 和 55.4%。
推荐理由：论文给出自主采集机器人交互数据重建数字孪生的流程，并对比人工采集的耗时与重建指标。
arXiv · cs.RO精选AI 评分6767 ScheNav：示意地图引导的目标物体导航框架
ScheNav 是一个示意地图引导的闭环具身导航框架，通过 SchemaField 空间模块把粗略示意引导与累积观测融合，预测空间价值场并据此做探索和停止决策。
推荐理由：论文给出从2D平面图生成导航训练环境的数据管线与闭环框架，可用于比较示意地图引导的导航方法。