面向自闭症谱系障碍教育的人形机器人视觉任务建模与自动规划

研究提出一种让配备摄像头的半自主机器人识别Shoebox Tasks任务目标并规划动作的方法，该系统用基于视觉的大语言模型将任务照片转换为PDDL表示并生成动作计划。Nao机器人可自主执行多种Shoebox Tasks，并通过动作演示、语音指令或手势提示下一步或报告检测到的失败。求解器仅以拍摄图像为输入，经适配的机器人接口可集成到多种教育机器人中，教师无需编程。