te-comp：把模型编译成MCU自包含C推理引擎

Van Chan Ngo 在 arXiv 发布预印本，提出 te-comp：一个基于 MLIR 的编译器，输入 .tflite 或 .safetensors 格式模型，输出部署所需的全部 C 源码，包括推理引擎（内核、权重数组、内存布局）和 RTOS 集成层，运行时零依赖。作者称这是首个完整的此类 MLIR 编译器。 在 10 个 MCUNet CNN 基准上，te-comp 比 MCUNet TinyEngine 少用 38% SRAM（最高 5.9 倍）、少用 15% Flash；区别在于它生成完整 C 代码，而非链接预写内核库。作者还用其编译 8.3M 参数的 GPT-Neo（TinyStories-v2），部署在 160MHz 单核 Cortex-M7 上：固件占用 512KB SRAM 中的 249KB、4MB Flash 中的 3.62MB，借助 Q4_0 权重量化、有状态 int4 KV 缓存和词表裁剪，实现约 1 token/s 的交互式文本生成。 上述结果来自论文自述，属预印本，尚未经同行评议或独立验证；SRAM、Flash 对比仅限所列 MCUNet 基准与对应硬件条件。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。