ggml-org/llama.cpp

llama.cpp 是用纯 C/C++ 实现的大模型本地推理引擎，可以理解为「让 LLM 在你自己的电脑上跑起来」的通用底座，几乎所有本地部署方案都绕不开它。它不依赖 Python 环境，支持从 1.5-bit 到 8-bit 的多种量化格式来压缩模型体积，覆盖 Apple Silicon、NVIDIA、AMD、Intel、华为昇腾等几乎所有硬件后端，还能在显存不够时让 CPU 和 GPU 混合推理。实际场景比如：想在自己 Mac 上离线跑 Qwen 或 Llama 做代码补全、给内部知识库搭一个不联网的 RAG 服务、或者在边缘设备上部署轻量模型做语音转写，都可以直接用它起一个兼容 OpenAI 格式的接口。对 AI 应用工程师、算法工程师以及需要私有化部署的后端开发者来说，这是必看的基础设施级项目；如果你只做模型训练或纯云端调用，关系不大。

Star 趋势

话题标签

仓库信息