在ESP32-S3单片机上离线运行的30M参数小语言模型
Star109
24h 新增+1
7 天新增—
Fork21
Issue0
语言C
项目介绍
更新于 1 天前
这是一个把约3000万参数的decoder-only Transformer语言模型塞进ESP32-S3单片机里离线跑的个人实验项目，模型从零训练，权重和分词器已随仓库提供，不需要联网也不需要API key。它在XIAO ESP32-S3加圆形触摸屏上提供触屏键盘聊天界面，在DevKit上则通过USB对话，能回几句简单寒暄，比如问how are you会答I'm doing okay。但能力非常有限：上下文只有64个token，一次最多生成24个token，速度慢到每秒不到1.5个词，回答容易重复跑题，连基本算术都不可靠，作者自己也标明这是能力受限的个人实验。对多数互联网和AI从业者来说它没有实用价值，值得看的主要是做嵌入式AI、端侧推理或对Transformer在极低算力设备上如何量化部署感兴趣的人，以及想了解LLM从训练到固件落地全流程的硬件爱好者。
上手成本：中
Star 趋势
话题标签
embedded-aiesp32esp32-s3llmtransformerxiao
仓库信息
| License | MIT |
| 创建时间 | 2026-10-14 |
| 最后推送 | 11 天前 |
| 热度分 | 3.0 |