VT-MUSE视触觉序列表征学习框架提出

Congsheng Xu等作者提出 VT-MUSE，一个面向视觉-触觉操作任务的多模态统一序列表征学习框架，针对现有方法独立编码视觉与触觉观测、且多关注当前时刻而忽略接触时序演化的问题。 框架分两阶段：第一阶段通过跨模态时序对齐与掩码视图一致性联合适配各模态编码器；第二阶段用条件变分潜变量模型处理掩码视觉序列与完整触觉历史，并由辅助解码器重建近期掩码视觉观测、预测触觉深度变化。学到的表征通过门控交叉注意力接入轻量 Transformer 策略。 作者称，在仿真基准上，VT-MUSE 在所有任务上比最强基线高出 11 个百分点，真实世界实验也有明显提升。该文为 arXiv 预印本，尚未经同行评议。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。