NVIDIA/spark-local-inference

Flare 是 NVIDIA 开源的本地推理服务，用 Rust 写成，专门面向搭载 SM120/SM121 GPU 的工作站和 DGX Spark 这类紧凑机型，目标是把机器的显存、带宽和算力榨干，同时让长对话和反复调用工具时的生成保持流畅。它的做法是构建期用 PyTorch、Transformers 和 FlashInfer 加载模型、调优 kernel 并捕获 CUDA graph，产出运行时包后由 Rust 直接服务，全程不碰 Python；对话状态（含 KV cache 和循环状态）被整体规划，方便复用、分支和恢复。作者明确说它不是 vLLM 的替代品，而是针对特定硬件和模型的专用选项，属于研究原型。如果你在本地跑编码 Agent、需要长时间多轮对话或频繁工具调用，又恰好用的是这类 NVIDIA GPU，可以看看；做生产部署或用其他硬件的人关系不大。

Star 趋势

仓库信息