arXiv · cs.RO官方发布· Congsheng Xu, Qiaochu Yang, Fangyuan Shi, Yifan Han, Baijun Chen, Yiming Wang, Haonan Zhao, Zhe Liu, Yao Mu, Daolin Ma, Xiaokang Yang, Hesheng Wang·· 2 小时前精选AI 评分62
论文 / 摘要阅读
VT-MUSE：面向操作任务的视觉-触觉多模态统一序列表征学习
VT-MUSE: Multimodal Unified Sequential Visuotactile Representation Learning for Manipulation
AI 导读 · 根据来源整理
作者提出 VT-MUSE，一个面向视觉-触觉操作任务的多模态统一序列表征学习框架，针对现有方法独立编码视觉与触觉观测、且多关注当前时刻而忽略接触时序演化的问题。框架分两阶段：第一阶段通过跨模态时序对齐与掩码视图一致性联合适配各模态编码器；第二阶段用条件变分潜变量模型处理掩码视觉序列与完整触觉历史，并由辅助解码器重建近期掩码视觉观测、预测触觉深度变化。学到的表征通过门控交叉注意力接入轻量 Transformer 策略。在仿真基准上，VT-MUSE 在所有任务上比最强基线高出 11 个百分点，真实世界实验也有明显提升。该文为 arXiv 预印本，尚未经同行评议。
本站目前提供摘要
以上是对来源材料的中文整理，不是完整论文或全文。研究方法、数据与完整论述请到来源页面核对。
前往 arXiv · cs.RO 阅读原文 ↗来源：arXiv · cs.RO · arxiv.org