SurGPT：用于机器人手术技能评估与手势识别的多任务基础模型

作者提出 SurGPT 基础模型，可自动分析达芬奇手术机器人视频，同时完成手术任务分类（打结、穿针、缝合）、标准化技能水平评估和手术手势自然语言描述三项任务。模型结合视觉编码器与 transformer 架构，用位置编码建模时序、注意力机制整合时空特征，并以自适应不确定性加权进行多任务学习。在达芬奇技能模拟器数据集上，作者称其在手术任务识别上达到当前最优表现，技能评估结果与专家评价相关。