HexaShell：面向仿真与真实世界机器人编码智能体的通用工具框架

HexaShell 是一个任务无关的轻量工具框架，用于检验通用工具能让基于视觉语言模型的机器人编码智能体走多远。作者设计了 14 个基础工具，其中 4 个用于运动、5 个用于感知、5 个用于状态，智能体每轮在一个 Python 单元中调用；感知部分将 SAM 3 与 NumPy、OpenCV 几何结合，把多相机轮廓或深度图转成物体位置、尺寸和抓取角度。API、智能体循环和沙箱在所有任务间共享，接入新仿真器或机器人只需 350 至 1450 行适配器和一段描述其世界的提示，唯一的任务特定输入是约一页的可选技能说明。