MotorSense发布视频-EMG配对数据集

Eadom Dessalene等作者发布MotorSense，称其为首个大规模第一视角视频与表面肌电（EMG）配对数据集：双臂EMG带与第一视角视频同步，覆盖100小时无脚本操作，同时采集IMU与音频。作者称EMG可捕捉手指运动、手部构型及手与环境的作用力，不受遮挡和标注者偏差影响。 研究用视频与EMG跨模态预训练学习感觉运动对齐，并将所得视觉模型迁移到动作识别、3D手部重建和3D接触重建；还用EMG运动信号条件化视频扩散模型生成细粒度手部操作视频。作者称在四个以动作为中心的视觉任务和八个常用视频数据集上，该方法优于所评估的全部基线。 该工作以预印本形式发布，标注为NeurIPS 2026，共27页、9图、5表；上述性能结论来自作者自述，尚未见独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。