ComfyUI 是目前最主流的本地 AI 内容生成引擎，用节点连线的方式把模型、参数和后处理串成可视化工作流，类似给 AI 生图/生视频搭积木，不用写代码。它原生支持几乎所有开源前沿模型，覆盖文生图（Flux、SDXL、Qwen Image）、图生视频（Wan、HunyuanVideo）、音频、3D 重建（Hunyuan3D）乃至文本生成，也通过 Partner nodes 接入 Nano Banana、Seedance 等闭源模型。作为针对消费级硬件优化最狠的推理引擎，它靠异步权重流式加载，4GB 显存也能跑大模型，还能把复杂工作流封装成简洁 UI 或通过 API 接进生产管线。适合视觉设计师、AIGC 内容团队、需要把生图生视频能力产品化的后端与算法工程师，以及想在本地高效跑扩散模型的研究者；如果你完全不碰生成式 AI，那和你关系不大。

vLLM 是目前最主流的开源大模型推理与服务引擎，可以理解为给 LLM 套上了一层高效的「调度+显存管理」外壳，让你用更少的 GPU 跑出更高的吞吐。它的核心卖点是 PagedAttention 和连续批处理，能把 KV cache 像操作系统管理内存一样切块复用，避免显存浪费，同时支持投机解码、量化（FP8、INT4、GPTQ 等）和多种并行策略。它提供 OpenAI 兼容的 API 服务，兼容 Hugging Face 上 200+ 模型架构，覆盖 Llama、Qwen、DeepSeek-V3 等主流 LLM、MoE、多模态和 embedding 模型，硬件上支持 NVIDIA、AMD、Intel GPU 以及 TPU、CPU 等。典型场景是：你想把一个开源模型部署成可对外提供服务的接口，或者在有限显存下压榨出更多并发。如果你是算法工程师、平台/基础设施工程师，或需要自建 LLM 服务的团队，这是绕不开的选型；纯做模型训练或只调用闭源 API 的人关系不大。

DeepInfer 是 DeepSeek 官方开源的高性能推理框架，也就是支撑 DeepSeek 线上大规模生产服务的那套推理引擎，目前支持 DeepSeek-V4.1-Flash 模型的离线推理。它把 FlashMLA、DeepGEMM、DeepEP 等自研算子和 MoE 专家并行、EPLB 负载均衡、投机采样、异步调度等生产级优化打包在一起，还提供确定性采样和结构化输出（按 JSON schema 或正则约束生成），保证不同 batch 组成下结果一致。适合需要在自有集群上高吞吐部署 DeepSeek 模型的团队，比如做推理服务的算法工程师、负责 GPU 集群利用率的 infra 工程师，以及需要复现 DeepSeek 官方性能基线做选型对比的人。注意它只开源了推理核心，KV cache 系统、Prefill/Decode 分离和负载均衡等完整服务组件并未包含，纯做应用层开发或轻量调用 API 的读者关系不大。

ForgeKernel 是一个能自我进化的 GPU kernel 优化 agent：它先运行、计时并 profile 一个参考 kernel，把它的架构拆解成一份分阶段的优化任务清单，交给编码 agent 逐步实现，每产出一个被验证更优的 kernel，就顶替参考成为下一轮的起点，直到硬件上榨不出更多性能为止。过程中由 GPU 探针实测确认的硬件特性会沉淀成跨算子共享的知识库。论文里在 Hopper 和 Blackwell 上测试 27 个算子，22 个专家库 kernel（FlashAttention-4、cuDNN、DeepGEMM 等）中有 18 个被追平或超越，最高提升 170.6%，还在 NVIDIA 和华为 CANN 的多个 benchmark 榜单上拿到第一。适合关注算子性能、推理加速的 GPU kernel 工程师和推理框架开发者，以及想用 Agent 做自动优化的研究者；做业务应用或模型调优的人关系不大。

Kindi 是一个专为低端显卡和 CPU 打造的 LLM 推理引擎，可以理解为 llama.cpp 的「老硬件特化版」。它主打让 1 GB 显存的古董 Quadro K420、GTX 1080、RTX 3080、AMD Radeon 780M 核显乃至纯 CPU 都能跑起 Prism ML 的 Ternary-Bonsai-2 系列三值权重模型（2B 到 27B），也实验性支持 Nemotron 3.5 Bolt E4B，并提供 OpenAI 兼容的服务接口，可直接接入各类聊天客户端、脚本和 AI 编程 Agent。它的实际价值在于榨干被遗忘的硬件：在 K420 上比 llama.cpp 快约 13 倍，CPU 上也快 1.6 到 2.7 倍，prompt cache 对多轮 Agent 场景的提速尤其明显（同一份 9,400 token 文档的第三个问题，0.42 秒对 3.10 秒），且默认输出与 llama.cpp 逐 token 一致。适合手里有闲置旧显卡、想在本地低成本跑小模型做实验的算法和平台工程师；如果你只用云端大模型或高端显卡，这项目和你关系不大。

这是一个把 DeepSeek-V4.1-Flash 模型跑在两台 NVIDIA DGX Spark（GB10）上的推理部署方案，核心是作者自己改的 TensorFold 引擎分支，用 2.9bpw 量化加双机张量并行，实测解码速度约为标准 vLLM 部署的 2.1-2.3 倍：散文 57 tok/s、代码 92 tok/s，32K 长提示的预填充速度约 2,200 tok/s，还把上下文窗口拉到 1M token 并通过了百万级大海捞针测试。它面向需要长上下文和低延迟的场景，比如让 Agent 高频调用工具、对同一份长文档反复追问（前缀缓存让第二次提问的首字延迟从 13 秒降到 1 秒），支持强制工具调用、结构化输出和 4 路并发。适合手里有 DGX Spark 硬件、正在为本地大模型部署做性能选型的推理工程师和基础设施负责人参考；README 也注明完整硬件验证尚在进行中。如果你不打算在双机 GB10 上部署 DeepSeek，这个项目和多数人关系不大。

MAFDET 是一个本地 LLM 聊天工具，核心卖点是利用你打字的时间提前干活：你还在输入时，它就同步维护 KV cache 把消息读完，甚至让模型提前开始推理，按 Enter 时大部分工作已经完成。实测在 Qwen3-4B 上把回车后的等待从 12.2 秒压到 3.2 秒，14B 从 108 秒降到 47 秒，答案正确率不变；中途删改、粘贴都不影响结果的正确性。它面向普通消费级硬件，参考机型是 6GB 显存的 RTX 2060，也支持 Apple Silicon 和纯 CPU 运行，提供 GUI 和终端两种界面。适合经常在本地跑 Qwen3 等推理模型、又被 prefill 和思考阶段漫长等待折磨的开发者和研究者；如果你不玩本地大模型，这个项目和你关系不大。