rasbt/LLMs-from-scratch

这是配套 Manning 出版社书籍《Build a Large Language Model (From Scratch)》的代码仓库，用 PyTorch 从零一步步实现一个类 ChatGPT 的大模型。它不是拿来即用的工具，而是一套教学代码，覆盖从文本分词、注意力机制、GPT 架构搭建，到无监督预训练、文本分类微调、指令微调的完整链路，还附带 LoRA 参数高效微调的示例。每章都有 Jupyter Notebook 和练习解答，读者可以亲手跑通一个小模型的训练与生成过程，理解 Transformer 内部到底在算什么。适合算法工程师、NLP 方向学生、以及想搞懂 LLM 底层原理而非只会调 API 的从业者；如果你只是想部署模型或做应用开发，这个仓库和你的日常工作关系不大。

Star 趋势

话题标签

仓库信息