跳到正文

NEWS / 动态

#数据集

按时间浏览,使用右上角筛选切换领域。

10月30日周五
  1. arXiv · cs.RO45

    通过度量3D融合理解开放词汇无人机感知中的时序语义稳定性

    研究通过度量3D融合将逐帧预测关联到持久世界空间位置,提出体素级评估框架,联合刻画语义一致性、语义信念漂移(SBD)、观测持续性(OP)与语义不确定性。在UAVid-3D-Scenes上的实验显示逐帧语义变化显著,高聚合世界空间一致性在重复观测支持不足时会高估时序稳定性;持续性分层分析表明复发体素语义分歧更大,该现象在两个分割骨干及不同体素分辨率、几何关联和时间采样密度下保持一致。

  2. arXiv · cs.RO72

    Ego-OSCAR:不到200美元的开源头戴立体视觉采集系统与550小时数据集

    作者团队提出开源头戴采集系统 Ego-OSCAR,用不到200美元的通用零件与3D打印件搭建,将硬件同步全局快门立体相机与6轴IMU结合,并用微控制器把相机与惯性时钟域对齐到700微秒残差。

    推荐理由:论文给出不到200美元的开源头戴立体采集硬件与约550小时数据集,可用于比较自采具身视觉数据的成本与可复现性。

  3. arXiv · cs.RO72

    HumiMimic:从野外视频迁移人-人形机器人交互动作

    作者提出 HumiTransfer 框架,将野外人人交互视频转换为物理合理的人-人形机器人交互动作,并据此构建 HumiMimic 数据集。该数据集覆盖 26 自由度 Unitree R1 Edu 与 23 自由度 HighTorque Mini-hi 两款机器人,由 1200 段视频生成约 50 万帧交互数据。

    推荐理由:论文提出从野外人人交互视频迁移到人形机器人的框架,并构建约50万帧数据集,可用于比较跨本体动作迁移方法。

  4. arXiv · cs.RO67

    OmniDex发布260万杂乱场景数据集与灵巧抓取模型

    OmniDex提出可扩展的seed-and-filter策略,构建了包含超260万场景和0.4B场景特定抓取真值的杂乱场景灵巧抓取基准。研究同时提出OmniDex模型,通过Soft Winner-Takes-All学习、类人物理约束训练和物理驱动排序,避免后优化延迟。实验称该模型在多样场景、视角和未见物体上取得state-of-the-art性能与较强泛化。

    推荐理由:论文同时给出260万杂乱场景抓取数据集与OmniDex模型,可用于比较仿真数据规模与灵巧抓取泛化路线。

  5. arXiv · cs.RO72

    EgoHTR发布第一视角人体地形穿越4D演示数据集

    EgoHTR数据集发布,用第一视角可穿戴设备与便携3D扫描仪采集了55段场景对齐的4D人体运动序列,覆盖多样复杂环境,共超过15万帧。作者称该数据在运动捕捉真值对比中达到当前先进精度,并据此训练感知式运动策略,在Unitree G1上完成重建参考动作的硬件部署。重建流程已开源,支持社区扩展数据集。

    推荐理由:该数据集用第一视角可穿戴设备与便携3D扫描仪采集55段场景对齐的4D人体运动序列,并给出实机部署结果,可供人形机器人在非结构化地形上的学习研究参考。

  6. arXiv · cs.RO72

    AffordSim:面向可供性感知机器人操作的可扩展数据生成器与基准

    AffordSim 是一个将开放词汇3D可供性预测集成到仿真轨迹生成中的数据生成器与基准,可根据自然语言任务描述合成场景、生成可供性查询并采样区域条件抓取,再用运动规划筛选可执行候选。

    推荐理由:论文给出将开放词汇3D可供性预测接入仿真轨迹生成的数据生成器与50任务基准,可用于比较可供性感知操作的数据构建方式。

  7. arXiv · cs.RO78

    DexSuite 发布开源灵巧操作仿真框架,覆盖 30 个任务与 100 多种单臂机器人

    DexSuite 是一个基于 Genesis 模拟器的开源一体化灵巧操作仿真框架,提供 30 个任务,并把 10 种机械臂与 12 种末端执行器(从平行夹爪到灵巧手)组合成 100 多种单臂机器人和数千种双臂组合。

    推荐理由:该框架把机械臂、末端执行器、任务、遥操作与触觉仿真整合进同一套开源环境,并给出基准与示范数据集。

  8. arXiv · cs.RO62

    BURGER:用机器人绘画基准评测VLA模型的泛化能力

    作者提出BURGER,一个语言条件机器人绘画基准,并提供可在仿真和真实世界生成连续绘画轨迹的提示驱动流水线。研究用282个绘画任务、28200条仿真演示评测5个代表性VLA模型,分析数据规模、语言落地和多模态行为,发现不同模型呈现不同失败模式。团队还将训练策略部署到Franka Panda机械臂,展示在人工干预下进行反应式绘画。

    推荐理由:该预印本用绘画任务构建语言条件机器人基准,覆盖282个任务和5个VLA模型,便于比较不同模型的语言落地与动作生成失败模式。

10月29日周四
  1. arXiv · cs.RO78

    RoboAtom 提出大规模原子动作监督数据集 RoboAtom-Data

    RoboAtom 提出 RoboAtom-Data,为多来源现有数据补充统一、时间对齐的原子动作标注,覆盖 145 万条轨迹、688 万个技能标注片段和 16882.1 小时。其流程结合统一协议、大规模人工标注、同一有序技能序列重复执行间的传播以及多阶段质量控制。作者构建 RoboAtom-Bench 以标准化技能识别与时间边界定位评测,基于标注数据训练的 RoboAtom-Anno 在该基准和外部 WGO-Bench 上优于所评估的开源与闭源模型。

    推荐理由:论文给出跨来源统一原子动作标注的数据规模与构建流程,并附技能识别基准和分层执行对照实验。

  2. arXiv · cs.RO78

    UMI-Live:开源双臂UMI野外数据采集系统发布

    作者提出UMI-Live,一套用于野外双臂数据采集的开源全栈UMI系统,其定制硬件集成相机与LiDAR-惯性传感、板载计算和供电,无需外部追踪设备或在采集环境中标定。系统提供简单录制界面,异步流水线并行进行SLAM重建并发布可直接用于训练的数据集,同时发布支持双YAM遥操作及VLA策略训练与推理的软件。作者用π0.5和MolmoAct2微调验证数据质量,在双臂抓放任务上成功率分别为10/10和8/10,并公开三个任务共40小时的UMI-Live数据及硬件设计、软件和复现指南。

    推荐理由:该系统把相机与激光雷达惯性传感、机载计算和异步SLAM流程整合成免外部追踪的双臂采集方案,并附40小时数据与复现指南。

  3. arXiv · cs.RO72

    WorldFlow:大规模预训练联合预测视频与3D运动

    WorldFlow 提出一种生成式世界模型,通过将3D运动参数化为与视频网格对齐的连续位移 token,用统一的 Mixture-of-Transformers 骨干在 rectified-flow 目标下同时去噪视频与基于查询的3D轨迹。

    推荐理由:论文把视频与3D轨迹放进同一生成骨干联合预测,并给出跨仿真与真实域的训练规模和基准误差对比。

  4. arXiv · cs.RO71

    Event2Reward:从进度关系学习机器人奖励

    Event2Reward 提出从机器人演示中学习奖励的方法,用归一化时间标签锚定进度尺度,并用轨迹内的停滞、回退与恢复关系约束局部变化,将进度预测作为奖励塑形的势函数。

    推荐理由:论文用轨迹内的停滞、回退与恢复关系约束进度预测,为从失败执行中构建稠密奖励提供了一种可迁移方法。

  5. arXiv · cs.RO67

    EgoContact:用第一视角视频评估物理智能的接触点预测数据集

    EgoContact 是一个大规模第一视角数据集,用于通过未来接触点预测评估学习到的操作先验的泛化性与精度,包含 22.5K 条人工核验的交互事件,每条含接触前观测、语义意图和像素级接触位置。

    推荐理由:论文给出2.25万条人工核验的第一视角接触点数据,并展示将其用作现有可供性迁移策略记忆库后抓取成功率的提升。

  6. arXiv · cs.RO67

    ReSTEP数据集与REMORA模型:面向长程机器人任务的进度跟踪基准

    作者开源ReSTEP数据集,包含两个操作任务的3156条轨迹,带语义阶段标签和帧级错误标注,覆盖成功执行、失误与恢复过程。基于该数据集,作者提出在线进度估计器REMORA,结合循环视觉记忆、分布预测和因果峰值选择来跟踪任务进度。在两个ReSTEP任务上的实验显示,REMORA在进度准确率和时间一致性上优于SARM基线。

    推荐理由:论文开源了带帧级错误标注的长程操作数据集,并提出在线进度估计模型,可供比较任务进度监控方法。

  7. arXiv · cs.RO71

    Tactus:面向自然灵巧操作数据采集的触觉与位姿传感手套

    论文提出 Tactus,一款织物集成传感手套,同时提供指尖触觉力感知与抗遮挡手部位姿追踪,用于采集自然状态下的人手操作演示数据。其指尖堆叠厚度为 1.5 mm,在 95% 置信度下最小可检测力为 0.59 N,比两款商用触觉手套基线低 1.6 至 2.7 倍,跨参与者一致性为 0.87;操作过程中遮挡最严重时指尖关键点相对误差为 11.0 mm。

    推荐理由:论文给出触觉手套的传感配置与跨平台量化对比,可用于评估灵巧操作数据采集方案。

10月28日周三
  1. arXiv · cs.RO63

    SkelGG-CNN:骨架引导的机器人抓取自动标注与4-DoF到6-DoF执行

    作者提出基于直线骨架的自动标注算法,无需人工干预即可生成双指抓取关键点,并训练出4-DoF的SkelGG-CNN。该模型在Jacquard V1、Jacquard V2和Cornell上分别达到95.42%、96.55%和97.1%的准确率;6-DoF自动标注在GraspNet novel split上平均精度为18.33。

    推荐理由:论文提出基于骨架的自动抓取标注流程,并给出4-DoF与6-DoF在公开数据集、仿真和Delta并联机器人实机上的结果。

  2. arXiv · cs.RO72

    Embodied at Sea:面向水下多任务操作的模仿学习研究

    纽约大学等团队发布预印本 Embodied at Sea,研究模仿学习在水下多任务操作中的表现。团队在平静与湍流水域采集1616条水下操作数据,训练14个不同本体感知配置的 DynamicVLA 模型,在泳池1260次可评分实机回放中10个模型超过基线,最佳模型总体成功率93.3%(含部分成功)。

    推荐理由:论文给出水下多任务模仿学习的实机回放数据与开源工具包,可用于比较通用VLA与单任务策略在域偏移下的表现。

  3. arXiv · cs.RO38

    单目深度估计在月球环境中的有效性研究

    研究评估多种先进单目深度估计方法在分布外月球环境中的重建效果,使用NASA Ames POLAR立体数据集与Apollo 17月面影像,建立从模拟到实地的验证流程,分别对物理模拟真值做定量评估、对历史实地数据做定性评估。结果显示部分先进方法可泛化生成非结构化月表的高保真相对三维重建。

  4. arXiv · cs.RO67

    RESPLE2:惯性先验递归非均匀样条多传感器里程计与全局优化

    RESPLE2 提出一种基于非均匀 B 样条的递归多传感器状态估计框架,用于 6-DoF 运动表示。该方法利用样条节点夹持边界性质,由惯性运动学直接预测控制点,并在迭代扩展卡尔曼滤波中用部分惯性测量完成预测,更新步骤按原始时间戳融合 LiDAR、相机、IMU 与腿部运动学。

    推荐理由:论文给出惯性先验驱动的非均匀B样条多传感器里程计方法,并公开代码与实验数据集,便于对照多平台动态场景的估计精度。

  5. arXiv · cs.RO58

    Ego-CEVR:从人类第一视角视频学习跨本体视觉表征

    Ego-CEVR 提出一种数据原生的分层视觉表征学习框架,将全局表征与交互表征分配不同的学习目标。全局模块通过在第一视角视频上做未来预测,学习物体关系、任务状态和时间进度;交互模块结合全局上下文解读腕部观测,并借助机器人动作监督学习局部对齐与接触线索。两条残差路径把两种表征同时接入动作策略,全局视频模块可在大规模人类第一视角视频和多种机器人本体视频上独立预训练,无需机器人动作标签或配对的腕部观测。

10月26日周一
  1. arXiv · cs.RO71

    AuRA:通过自主机器人交互从原子到比特重建数字孪生

    AuRA 是一套自动化机器人交互与数据准备系统,用于数字孪生重建,结合执行感知抓取选择、由机器人状态推导的夹爪运动测量以及配准的交互前几何与外观先验。在 13 个可变形物体上,AuRA 将每个成功重建资产的主动人工投入和实际采集时间分别减少 88.5% 和 55.4%。

    推荐理由:论文给出自主采集机器人交互数据重建数字孪生的流程,并对比人工采集的耗时与重建指标。

10月25日周日
  1. arXiv · cs.RO60

    毫米波雷达多普勒辅助跟踪被遮挡目标的位置与速度

    该研究提出多普勒辅助的毫米波雷达非视距跟踪方法,将隐藏目标跟踪建模为连续位置-速度估计,在留出轨迹上取得8.95厘米位置误差和1.75厘米/秒速度误差。作者同时发布首个室内非视距雷达数据集,包含576段序列、共720,856帧,覆盖移动机器人12条不同速度、起点和材质配置的轨迹,并称方法可泛化到未见场景中的移动人体目标。

    推荐理由:论文公开了室内非视距雷达数据集与位置-速度联合跟踪方法,可用于比较穿墙感知方案。

10月24日周六
  1. arXiv · cs.RO67

    GEMS:结合持久 3DGS 地图与智能体推理的长期时空记忆框架

    GEMS 提出一种面向半静态环境的长期时空记忆框架,将持久 3D 高斯泼溅(3DGS)地图与智能体推理流程结合,地图只重建一次,之后仅在场景变化区域更新并保存这些修改。

    推荐理由:论文把持久 3DGS 地图与智能体推理结合,并配套 GEMS-Bench,可用于比较机器人长期时空记忆方案。

  2. arXiv · cs.RO72

    SceneBloom:面向具身学习的智能体室内场景生成框架

    SceneBloom 是一个结合视觉布局采样与契约引导 3D 编译的智能体框架,用于生成逼真、多样且可直接仿真的室内环境。其分层采样器利用扩散先验在功能区内生成家具布局,编译器再依据提案中提取的关系进行几何拟合与局部位姿修正。

    推荐理由:论文提出用智能体框架生成仿真就绪的室内场景,并给出与真实房间分布及导航策略迁移的对比结果。

  3. arXiv · cs.RO71

    DexPort:面向高自由度灵巧手的手持技能数据采集接口

    DexPort 是一个面向高自由度机器人灵巧手的手持数据采集接口,采集与部署使用同一套手部硬件,并记录指令关节目标与实测关节状态。操作者移动手持接口指定机器人腕部运动,再选择或调整技能来协调手指动作,无需逐关节控制。作者在4类真实任务上采集超过2500条演示,用行为克隆直接训练视觉运动策略;使用记录的机器人指令替代关节状态时成功率从11%提升到64%,使用野外数据时任务成功率从36%提升到78%。

    推荐理由:论文提出用手持接口采集高自由度灵巧手数据,并给出4类任务的成功率对比,可供比较遥操作与人体演示两条数据路线。

10月23日周五
  1. arXiv · cs.RO72

    NimCritic:动作感知量化的长程任务进度建模

    作者提出动作感知量化方法,用视觉语言模型把长程轨迹拆成物体级子任务并分配加权动作信用,并据此构建 800 小时以上训练视频数据集和含 19,618 个人工校准评估帧的长程进度基准 LOOM。

    推荐理由:论文提出动作感知量化与 NimCritic 进度评论器,并公开 800 小时视频数据集与 LOOM 基准,可供长程操作进度建模参考。

  2. arXiv · cs.RO58

    VERID:面向自动化实验室智能体自博弈的语义数字孪生基础设施

    论文提出 VERID,一个面向自动化实验室的持久高保真语义数字孪生基础设施,用于衔接 AI 智能体的高层推理与湿实验的物理现实。VERID 提供四项核心服务:可供智能体推理的可查询内省、用于协议验证的时间压缩仿真、完整实验记录的追踪持久化,以及安全执行框架。

  3. arXiv · cs.RO63

    WorldMirror:从野外机器人演示生成可交互仿真世界的智能体框架

    WorldMirror 是一个智能体式 real-to-sim 框架,可从野外机器人演示构建可交互数字孪生。它把 real-to-sim 构建表述为可执行世界程序的迭代精炼:编码智能体分解场景、规划重建步骤并调度图像与 3D 生成工具,再通过验证反馈修正程序。在 DROID 上的实验显示,该框架能重建视觉忠实、几何一致的可交互世界,并保持所记录机器人轨迹的物理有效性。

    推荐理由:论文把野外机器人演示转成可交互仿真世界,其世界程序迭代修正思路可供仿真数据构建参考。

  4. arXiv · cs.RO66

    KiRoSe 用运动学数据高效分割机器人演示

    KiRoSe 提出用机器人运动学数据而非原始多路视频来分割机器人演示,以降低多模态大模型的处理成本。该方法借鉴 Huffman 编码思路构建稀疏运动 token(SMT),用带时间分段监督的运动轨迹编码并量化得到离散运动词汇,再以演示子任务标注监督开放语言模型解读 token 序列。

    推荐理由:论文用机器人运动学数据替代多路视频做演示分段,并给出跨本体零样本迁移的评测结果,可供数据清洗与检索参考。

  5. arXiv · cs.RO78

    OpenTac 发布可定制三维触觉皮肤及配套设计生态

    OpenTac 提出一种可定制、可扩展的电阻式触觉皮肤及全栈生态,通过结构化可变形覆盖层把切向载荷转为空间变化的压力分布,相邻 taxel 的差分响应可解码局部剪切向量,共模响应编码法向力。

    推荐理由:论文给出可定制电阻式触觉皮肤的设计工具与配套生态,并在四种真实机器人本体上验证三维触觉反馈控制与策略学习。

  6. arXiv · cs.RO58

    SCOPE:用规划错误修正优化场景图,生成机器人长期规划数据集

    SCOPE 是一个自动生成多样化且可执行的任务与运动规划(TAMP)数据集的框架,通过规划执行失败作为反馈信号回溯修正场景图中的逻辑不一致。该框架引入多级多样性指标以提升场景信息熵,实验显示其对错误场景图更稳健、生成数据质量更高。用 SCOPE 数据微调的下游 TAMP 模型成功率比用 DELTA 生成数据微调的模型绝对提升 12.33%。

10月22日周四
  1. arXiv · cs.RO60

    RGraph-Eval:用任务场景图评估机器人视频生成

    作者提出 RGraph-Eval,一个基于参考演示的机器人视频生成评估框架,用任务场景图显式暴露物体错移、抓取消失、放置偏离等交互错误。该框架将任务实体、交互与运动组织在统一可解释的场景图表示中,由基础模型流水线识别操作角色、定位物体掩码、推断并核验状态转移与动作区间,并重建被操作物体的三维运动。

    推荐理由:提出以任务场景图评估机器人视频生成,把物体、关系变化与三维轨迹纳入统一表示,并配套1000个场景数据集。

  2. arXiv · cs.RO60

    EBV-CAN:面向接触辅助内窥镜导航的视觉语言策略

    研究提出EBV-CAN,一种结合初始全局鸟瞰图、内窥镜观测与电机状态的视觉语言策略,用于柔性内窥镜的接触辅助导航。团队构建VLCA数据集,包含517条演示、75k动作样本、958k空间条目和93k剩余路径记录;在50个留出回合中,尖端坐标与路点定位分别达到97.5%和94.8%。

    推荐理由:论文给出内窥镜接触辅助导航的视觉语言策略与VLCA数据集,并对比动作模仿与任务完成两类指标。

  3. arXiv · cs.RO63

    Co^2Gen:为去中心化多机器人与人类协作自动生成任务规划

    Co^2Gen 提出一个框架,用去中心化协作规划方法生成可执行函数形式的多机器人协作计划,再据此产出协作演示数据,以去中心化方式微调 VLA 模型,无需人工遥操作。作者称,用这些数据微调后的 VLA 模型在去中心化协作任务上的表现,与用人工遥操作协作数据微调的模型相当。该工作针对 VLA 模型与其他机器人及人类协作能力尚未被充分探索的问题。

    推荐理由:论文提出用去中心化协作规划自动生成多机器人演示数据,免去人工遥操作,并与人工遥操作数据微调效果对比。