aa1143/NamiGPT

这是一套面向中文读者的大模型入门教程，核心是用 PyTorch 从零手写一个 GPT-2：不调用任何现成 Transformer 模块，模型代码不到 200 行，加载 OpenAI 官方权重后能真正跑通推理和文本生成，并与 HuggingFace 实现逐项对齐验证。教程用「猫吃鱼」这个三词例子，把从分词、Embedding、自注意力到文本生成的完整链路拆成 15 篇文章，每篇配可运行脚本，还提供矩阵逐格计算的在线可视化，帮读者看清 Attention 公式里 Q、K、V 到底在算什么。它适合两类人：一是想搞懂大模型底层原理、但被论文和公式劝退过的算法工程师或学生，可以对照代码和动图把 Transformer 每个模块吃透；二是需要给团队做 LLM 基础培训的技术负责人，能直接拿它当教材。如果你只关心调用 API 或部署模型，这项目和你关系不大。

Star 趋势

话题标签

仓库信息