arXiv · cs.RO官方发布· Jusuk Lee, Seungjae Lee, Jonghun Shin, Hoseong Jung, Sungha Kim, Daesol Cho, H. Jin Kim, Jia-Bin Huang, Furong Huang·· 2 小时前精选AI 评分62
论文 / 摘要阅读
DynaFLIP:用三模态动力学引导机器人感知表征预训练
DynaFLIP: Rethinking Robotics Perception via Tri-Modal-Dynamics Guided Representation
AI 导读 · 根据来源整理
DynaFLIP 是一个动力学感知的多模态预训练框架,把运动理解前移到感知阶段,用图像-语言-3D流三元组作为训练监督来塑造仅图像的编码器。其核心思路是让三种模态在共享超球空间中张成较小的单纯形体积以表示更强对齐,并结合余弦正则项与对比目标避免几何歧义和坍缩。分析显示该表征聚焦于操作相关的控制区域,可作为可复用视觉骨干,在包括 VLA 在内的多种下游策略上优于基线,仿真与真实场景中分布外情形增益达 +22.5%。作者据此认为,让视觉表征同时编码场景内容与动作下的世界变化有助于提升机器人泛化能力。
本站目前提供摘要
以上是对来源材料的中文整理,不是完整论文或全文。研究方法、数据与完整论述请到来源页面核对。
前往 arXiv · cs.RO 阅读原文 ↗来源:arXiv · cs.RO · arxiv.org