ahtx/kindi

Kindi 是一个专为低端显卡和 CPU 打造的 LLM 推理引擎，可以理解为 llama.cpp 的「老硬件特化版」。它主打让 1 GB 显存的古董 Quadro K420、GTX 1080、RTX 3080、AMD Radeon 780M 核显乃至纯 CPU 都能跑起 Prism ML 的 Ternary-Bonsai-2 系列三值权重模型（2B 到 27B），也实验性支持 Nemotron 3.5 Bolt E4B，并提供 OpenAI 兼容的服务接口，可直接接入各类聊天客户端、脚本和 AI 编程 Agent。它的实际价值在于榨干被遗忘的硬件：在 K420 上比 llama.cpp 快约 13 倍，CPU 上也快 1.6 到 2.7 倍，prompt cache 对多轮 Agent 场景的提速尤其明显（同一份 9,400 token 文档的第三个问题，0.42 秒对 3.10 秒），且默认输出与 llama.cpp 逐 token 一致。适合手里有闲置旧显卡、想在本地低成本跑小模型做实验的算法和平台工程师；如果你只用云端大模型或高端显卡，这项目和你关系不大。

Star 趋势

话题标签

仓库信息