arXiv · cs.RO· Keru Zhou, Zhirui Fang, Xinrun Xu, Yaopeng Lou, Zeyuan He, Zihao Zhu, Xinze Niu, Chen Wang, Tianfu Li, Samith Va, Xiyue Zhang, Bin Qian, Junwei Li, Wenjia Ding, Yicheng Xu, Bowen Jiang, Wenhao Wang, Ziwei Wang, Chang Zhou, Li Liu, Xiu Li, Maoqing Yao·· 3 天前AI 评分58
论文 / 摘要阅读
Ego-CEVR:从人类第一视角视频学习跨本体视觉表征
Ego-CEVR: Learning Cross-Embodiment Visual Representations from Human Egocentric Videos
AI 导读 · 根据来源整理
Ego-CEVR 提出一种数据原生的分层视觉表征学习框架,将全局表征与交互表征分配不同的学习目标。全局模块通过在第一视角视频上做未来预测,学习物体关系、任务状态和时间进度;交互模块结合全局上下文解读腕部观测,并借助机器人动作监督学习局部对齐与接触线索。两条残差路径把两种表征同时接入动作策略,全局视频模块可在大规模人类第一视角视频和多种机器人本体视频上独立预训练,无需机器人动作标签或配对的腕部观测。
本站目前提供摘要
以上是对来源材料的中文整理,不是完整论文或全文。研究方法、数据与完整论述请到来源页面核对。
前往 arXiv · cs.RO 阅读原文 ↗来源:arXiv · cs.RO · arxiv.org