kindlingai/gr8

gr8 是一个从零用 CUDA 手写的 LLM 推理引擎，不依赖 vLLM、PyTorch 或 NCCL，专门跑在 1 到 6 台 DGX Spark（GB10）上，支持 GLM-5.3、GLM-5.3-Flash 和 DeepSeek-V4.1-Flash 三个模型。它把模型张量并行切分到多台机器，各节点间用自研 RDMA 代码走 RoCE v2 通信，对外提供 OpenAI 兼容 API。实际能力上，单流写代码时 GLM-5.3 在六台机器上解码 57.4 tok/s，DeepSeek-V4.1-Flash 在四台上超过 100 tok/s；支持多路并发和百万级 token 的长上下文，续聊时只预填充新增部分，还能把被挤出的 KV 前缀卸到 SSD 或远端节点。适合手里有 DGX Spark 集群、想低成本部署国产大模型做推理服务的 infra 和算法工程师；如果你没有这类硬件，跟多数人关系不大。目前是 Beta，已知问题欢迎反馈。

Star 趋势

话题标签

仓库信息