跳到正文

NEWS / 动态

#数据集

按时间浏览,使用右上角筛选切换领域。

10月22日周四
  1. arXiv · cs.RO60

    EBV-CAN:面向接触辅助内窥镜导航的视觉语言策略

    研究提出EBV-CAN,一种结合初始全局鸟瞰图、内窥镜观测与电机状态的视觉语言策略,用于柔性内窥镜的接触辅助导航。团队构建VLCA数据集,包含517条演示、75k动作样本、958k空间条目和93k剩余路径记录;在50个留出回合中,尖端坐标与路点定位分别达到97.5%和94.8%。

    推荐理由:论文给出内窥镜接触辅助导航的视觉语言策略与VLCA数据集,并对比动作模仿与任务完成两类指标。

  2. arXiv · cs.RO63

    Co^2Gen:为去中心化多机器人与人类协作自动生成任务规划

    Co^2Gen 提出一个框架,用去中心化协作规划方法生成可执行函数形式的多机器人协作计划,再据此产出协作演示数据,以去中心化方式微调 VLA 模型,无需人工遥操作。作者称,用这些数据微调后的 VLA 模型在去中心化协作任务上的表现,与用人工遥操作协作数据微调的模型相当。该工作针对 VLA 模型与其他机器人及人类协作能力尚未被充分探索的问题。

    推荐理由:论文提出用去中心化协作规划自动生成多机器人演示数据,免去人工遥操作,并与人工遥操作数据微调效果对比。

10月21日周三
  1. arXiv · cs.RO38

    机器人泛化不止靠数据量:零样本能力驱动的多样性路径

    研究将物理AI的零样本泛化表述为对部署分布的覆盖,指出同一批采集者增加样本只能缓慢缩小未见区域,而每个新贡献者都能扩展该区域。为此提出一种机器人动作共享潜空间,结合多模态对齐、生成式增强与噪声标签学习,并以在标准易用机器人Origami上构建应用的开发者社区作为多样化数据来源,最后给出将实机零样本成功率与贡献数据多样性关联的可检验假设和评估协议。

  2. arXiv · cs.RO71

    AirPlayground:跨多种重建环境的空中导航基准

    AirPlayground 是一个用于训练和评估空中导航策略的统一基准,构建了覆盖室内、城市户外和植被场景的94个3D高斯泼溅(3DGS)环境,并配有对齐的碰撞几何。

    推荐理由:该预印本公开了94个3DGS场景与94K飞行演示,并给出ACT随训练场景扩展的成功率变化,可供比较空中导航策略的闭环评测。

  3. arXiv · cs.RO58

    NavBind 提出在路线分叉处诊断导航 VLA 的指令-动作绑定

    NavBind 提出一种诊断导航 VLA 指令-动作绑定的方法,在导航上下文固定时检验更换指令是否改变动作的概率分布。研究从 R2R-CE 和 RxR-CE 重组出 3,252 个路线分叉上下文,每个上下文的两条完整指令共享已走过路线的描述、但指向不同分支,并在相同智能体状态和导航历史下评估。

  4. arXiv · cs.RO60

    Industrial ReMEmbR 将时空记忆扩展到机器人车队

    IndustrialRemembr 提出面向机器人车队的共享时空记忆系统,扩展 NVIDIA ReMEmbR,仅在需要时生成场景描述以降低服务端计算。每台机器人用 NVIDIA Jetson 将视频片段编码为检索嵌入、视觉 token 和重建潜变量,不上传原始相机画面。

    推荐理由:论文给出机器人车队共享时空记忆的端侧编码与按需解码方案,并报告缓存 token 解码与未拆分模型输出一致。

  5. arXiv · cs.RO71

    SceneRig:从单张图像重建可仿真3D场景的智能体系统

    SceneRig 是一个智能体系统,可将单张图像重建为可编辑、可直接用于仿真的3D场景。它结合几何、视觉与物理工具,并在物理仿真器内执行编辑与验证循环以获得物理稳定性。作者称,相比基线方法,SceneRig 在实例分割、物体外观和3D摆放上有所改善,其场景能更准确地预测真实机器人策略结果,并更可靠地支持已录制操作在无需轨迹适配的情况下回放。

    推荐理由:论文提出从单张图像重建可仿真场景的智能体系统,并给出下游机器人策略预测与操作回放的对比结果。

10月20日周二
  1. arXiv · cs.RO67

    RoboJudge:用多模态语言模型评判具身视频生成

    研究团队提出 RoboJudge-Bench,用于评测多模态大模型对具身视频生成的判断能力,覆盖物理遵循与指令对齐两个维度,包含来自 8 个源语料、10 个视频生成器的 800 段人工标注视频,涉及夹爪、人手和灵巧手。

    推荐理由:该预印本系统评测了多模态大模型作为具身视频生成评判者的表现,并给出可复用的训练数据与微调方案。

  2. arXiv · cs.RO62

    PanoGraphGS:用高斯泼溅统一全景分割与分层3D场景图

    PanoGraphGS 提出一个统一框架,将全景3D高斯表示学习与分层3D场景图构建结合,在共享高斯几何上学习语义与实例特征。其语义感知场景图模块可恢复楼层-房间-物品-物体的层级及包含与空间关系,并支持新视角全景分割与高斯级全景解码。

    推荐理由:论文把全景分割与分层3D场景图统一到高斯表示中,并给出与Replica、NaviGS的对比结果,可供场景图构建方法参考。

  3. arXiv · cs.RO71

    UMI 手套新方案:单个头戴相机完成无电子手套的标注与观测

    Yosub Shin 等人提出用单个头戴相机(122 美元)替代腕部相机和位姿追踪器,通过读取无电子手套(22 美元)上的印刷标记与工作区纸片,从同一帧中解出 6-DoF 夹爪位姿和夹爪开度。

    推荐理由:论文用单个头戴相机替代腕部相机与位姿追踪器,给出无电子手套的标注精度和策略成功率对比,可供数据采集方案选型参考。

  4. arXiv · cs.RO67

    JARVIS:从视觉说明书到自主机器人装配的基准与智能体

    JARVIS 是一个无需额外语言指令、由视觉说明书引导自主装配的方法无关基准,包含 8,987 个场景中的 236,679 个 LEGO 装配任务,并从中整理出 50 个任务的 JARVIS-v1 套件用于交互式机器人评测。

    推荐理由:该预印本提出视觉说明书引导装配的基准与智能体方法,并给出九款模型在长程任务上的表现差异。

  5. arXiv · cs.RO59

    HATCH:面向可验证操作任务的硬件认证任务链基准

    Shiza Charania 提出 HATCH 机器人操作基准,以传感器确认任务完成并解锁下一任务,把房间串成一条长程评测链。任务覆盖五类技能、三个难度等级,物体摆放由运行日种子随机化,评分与机器人本体无关。参赛者需提交未剪辑视频、传感器日志和种子作为自证运行,任务规范、搭建指南、物料清单与评分细则以开放许可发布。

  6. arXiv · cs.RO75

    Ropedia W0 发布跨本体移动操作世界模型,基于人类经验数据

    Ropedia W0 是作者提出的第一视角移动操作世界基础模型,覆盖人类与多种机器人本体。其 Xp-Data 包含 1 万小时第一视角人类数据和 3 千小时机器人数据,并配有统一多模态标注;模型用相机位姿编码移动、用投影骨架编码操作。

    推荐理由:该工作构建跨人类与机器人的第一视角移动操作世界模型,并公开数据规模与五项基准评测结果,可供比较世界模型路线。

  7. arXiv · cs.RO75

    HandsOn:面向可泛化灵巧操作的大规模仿真基准

    HandsOn 是一个面向跨本体灵巧操作的组合式仿真平台与基准,支持五种机械臂、六种灵巧手和约200个刚体、铰接与可变形资产,并配有18000条人工演示和66个经人工核验的任务。

    推荐理由:该预印本给出跨本体灵巧操作仿真基准的规模与任务划分,并列出多类策略在Core-50上的成功率对比。

  8. arXiv · cs.RO60

    RoboValue:面向机器人价值模型统一评测的细粒度仿真与实机基准

    RoboValue 是一个细粒度仿真与实机基准,用于统一评测机器人价值模型,通过共享接口考察任务状态理解、时序进度监控、失败与恢复推理、价值一致性四个能力维度。

    推荐理由:该预印本提出覆盖四类能力维度的机器人价值模型评测基准,并给出仿真与实机任务上的诊断结果。

10月19日周一
  1. arXiv · cs.RO65

    AQUAACT:摇杆级水下遥操作数据集与闭环基准发布

    AQUAACT 是作者称为首个公开的语言标注水下数据集,将相机图像与人类摇杆指令配对,包含 1.9 小时真实演示和 17.9 小时仿真演示,并附车辆惯性测量数据。实验显示仿真演示可迁移到真实数据,并大幅减少策略所需的真实演示量。在仿真中对七种策略(从模仿学习基线到 VLA 模型)的闭环基准测试显示,没有策略完成超过五分之一的回合,陆上数据预训练也未让大型 VLA 模型优于从头训练的小策略。

    推荐理由:论文公开了带语言标注的水下遥操作数据集,并用七种策略的闭环基准说明水下自主任务仍未解决。

  2. arXiv · cs.RO69

    T(R,O) Grasp++:面向杂乱环境的跨本体灵巧抓取基准与扩散框架

    作者提出 T(R,O) Grasp++,一个面向杂乱环境的跨本体灵巧抓取合成扩散框架,并构建约 0.5B 条抓取标注、覆盖八种灵巧手和约 5 万物体的仿真基准。实验称该模型在八种灵巧本体上平均成功率达 88%,推理时延仅 0.3s,推理样本效率提升 10 倍以上。该工作为预印本,结果基于仿真实验。

    推荐理由:论文给出约5亿条抓取标注的仿真基准与跨八种灵巧手的扩散抓取框架,可用于比较杂乱场景抓取方法。

10月18日周日
  1. arXiv · cs.RO58

    基于混合现实的半自主机器人遥操作系统用于精细双臂任务

    研究提出一套基于混合现实头显的可扩展半自主机器人遥操作系统,用于在机器人上采集示范数据。系统自主执行大部分任务轨迹,操作员只在关键阶段做微调,以减少大规模数据采集中的操作负担。作者在高精度精细双臂销孔装配任务上采集数据并训练模仿学习策略,称以更低的数据采集投入获得可用于训练全自主执行策略的高质量示范。

8月14日周五
  1. Hugging Face · 机器人与开源研究70
    Hugging Face · 机器人与开源研究的报道配图

    Strands Robots 与 LeRobot 演示录制到部署的流式数据闭环

    AWS 开源 SDK Strands Robots 联合 LeRobot 与 Hugging Face Storage Buckets,演示在同一 agent 内完成演示录制、从 Hub 流式读取训练、再把 checkpoint 部署回硬件的闭环。

    推荐理由:以 Strands Robots 与 LeRobot 为例,演示录制、流式训练、部署回硬件的数据闭环,并给出存储去重与安全边界的具体做法。