ComfyUI 是目前最主流的本地 AI 内容生成引擎，用节点连线的方式把模型、参数和后处理串成可视化工作流，类似给 AI 生图/生视频搭积木，不用写代码。它原生支持几乎所有开源前沿模型，覆盖文生图（Flux、SDXL、Qwen Image）、图生视频（Wan、HunyuanVideo）、音频、3D 重建（Hunyuan3D）乃至文本生成，也通过 Partner nodes 接入 Nano Banana、Seedance 等闭源模型。作为针对消费级硬件优化最狠的推理引擎，它靠异步权重流式加载，4GB 显存也能跑大模型，还能把复杂工作流封装成简洁 UI 或通过 API 接进生产管线。适合视觉设计师、AIGC 内容团队、需要把生图生视频能力产品化的后端与算法工程师，以及想在本地高效跑扩散模型的研究者；如果你完全不碰生成式 AI，那和你关系不大。

vLLM 是目前最主流的开源大模型推理与服务引擎，可以理解为给 LLM 套上了一层高效的「调度+显存管理」外壳，让你用更少的 GPU 跑出更高的吞吐。它的核心卖点是 PagedAttention 和连续批处理，能把 KV cache 像操作系统管理内存一样切块复用，避免显存浪费，同时支持投机解码、量化（FP8、INT4、GPTQ 等）和多种并行策略。它提供 OpenAI 兼容的 API 服务，兼容 Hugging Face 上 200+ 模型架构，覆盖 Llama、Qwen、DeepSeek-V3 等主流 LLM、MoE、多模态和 embedding 模型，硬件上支持 NVIDIA、AMD、Intel GPU 以及 TPU、CPU 等。典型场景是：你想把一个开源模型部署成可对外提供服务的接口，或者在有限显存下压榨出更多并发。如果你是算法工程师、平台/基础设施工程师，或需要自建 LLM 服务的团队，这是绕不开的选型；纯做模型训练或只调用闭源 API 的人关系不大。

DeepInfer 是 DeepSeek 官方开源的高性能推理框架，也就是支撑 DeepSeek 线上大规模生产服务的那套推理引擎，目前支持 DeepSeek-V4.1-Flash 模型的离线推理。它把 FlashMLA、DeepGEMM、DeepEP 等自研算子和 MoE 专家并行、EPLB 负载均衡、投机采样、异步调度等生产级优化打包在一起，还提供确定性采样和结构化输出（按 JSON schema 或正则约束生成），保证不同 batch 组成下结果一致。适合需要在自有集群上高吞吐部署 DeepSeek 模型的团队，比如做推理服务的算法工程师、负责 GPU 集群利用率的 infra 工程师，以及需要复现 DeepSeek 官方性能基线做选型对比的人。注意它只开源了推理核心，KV cache 系统、Prefill/Decode 分离和负载均衡等完整服务组件并未包含，纯做应用层开发或轻量调用 API 的读者关系不大。

ForgeKernel 是一个能自我进化的 GPU kernel 优化 agent：它先运行、计时并 profile 一个参考 kernel，把它的架构拆解成一份分阶段的优化任务清单，交给编码 agent 逐步实现，每产出一个被验证更优的 kernel，就顶替参考成为下一轮的起点，直到硬件上榨不出更多性能为止。过程中由 GPU 探针实测确认的硬件特性会沉淀成跨算子共享的知识库。论文里在 Hopper 和 Blackwell 上测试 27 个算子，22 个专家库 kernel（FlashAttention-4、cuDNN、DeepGEMM 等）中有 18 个被追平或超越，最高提升 170.6%，还在 NVIDIA 和华为 CANN 的多个 benchmark 榜单上拿到第一。适合关注算子性能、推理加速的 GPU kernel 工程师和推理框架开发者，以及想用 Agent 做自动优化的研究者；做业务应用或模型调优的人关系不大。

EAGLE-4 是一套 LLM 推理加速方案，属于投机解码（speculative decoding）路线：先用一个小草稿模型快速猜出多个 token，再让目标大模型一次性校验，猜对就直接采纳，从而在不改变输出结果的前提下提速。它配套的 eagle-harness 会根据你实际的硬件、并发批量和负载自动决定猜测的深度和草稿树形状，不用手工调参。实测在 Qwen3.8-27B 上单请求最高 3.4 倍加速，并能接入 SGLang、vLLM、TokenSpeed 等主流推理引擎，高并发下也能保持收益。适合负责 LLM 服务部署和推理性能优化的工程师，尤其是需要在有限 GPU 上压低 token 成本、提升吞吐的团队；如果你不碰推理侧，这个项目和你关系不大。

QwenPU 是一个把「计算机」编译进大模型权重里的实验项目：它在 Qwen3.5-4B 的权重中硬编码了一颗 32 位 RISC-V CPU 和一个向量单元，让模型在自己的前向传播过程中，把另一个小模型 Karpathy 的 stories260K 当作 C 程序跑起来并写出故事。所有新增权重都不是训练出来的，而是由编译器逐个算出的，因此每一步都可精确复现。相比把每条指令拆成大量 token 的早期方案，向量单元把整行矩阵结果压缩成几个 token 流出，效率提升了一个数量级。目前它还处于早期阶段，完整检查点有 26.7 GB，需要 40 GB 以上显卡才能整体加载。对多数从业者来说这更像一个展示「权重即硬件」可能性的概念验证，值得花两分钟了解思路；真正会动手研究的是关注模型内部计算、权重编译和新型推理架构的研究者与工程师。

Kindi 是一个专为低端显卡和 CPU 打造的 LLM 推理引擎，可以理解为 llama.cpp 的「老硬件特化版」。它主打让 1 GB 显存的古董 Quadro K420、GTX 1080、RTX 3080、AMD Radeon 780M 核显乃至纯 CPU 都能跑起 Prism ML 的 Ternary-Bonsai-2 系列三值权重模型（2B 到 27B），也实验性支持 Nemotron 3.5 Bolt E4B，并提供 OpenAI 兼容的服务接口，可直接接入各类聊天客户端、脚本和 AI 编程 Agent。它的实际价值在于榨干被遗忘的硬件：在 K420 上比 llama.cpp 快约 13 倍，CPU 上也快 1.6 到 2.7 倍，prompt cache 对多轮 Agent 场景的提速尤其明显（同一份 9,400 token 文档的第三个问题，0.42 秒对 3.10 秒），且默认输出与 llama.cpp 逐 token 一致。适合手里有闲置旧显卡、想在本地低成本跑小模型做实验的算法和平台工程师；如果你只用云端大模型或高端显卡，这项目和你关系不大。

这是一个把 DeepSeek-V4.1-Flash 模型跑在两台 NVIDIA DGX Spark（GB10）上的推理部署方案，核心是作者自己改的 TensorFold 引擎分支，用 2.9bpw 量化加双机张量并行，实测解码速度约为标准 vLLM 部署的 2.1-2.3 倍：散文 57 tok/s、代码 92 tok/s，32K 长提示的预填充速度约 2,200 tok/s，还把上下文窗口拉到 1M token 并通过了百万级大海捞针测试。它面向需要长上下文和低延迟的场景，比如让 Agent 高频调用工具、对同一份长文档反复追问（前缀缓存让第二次提问的首字延迟从 13 秒降到 1 秒），支持强制工具调用、结构化输出和 4 路并发。适合手里有 DGX Spark 硬件、正在为本地大模型部署做性能选型的推理工程师和基础设施负责人参考；README 也注明完整硬件验证尚在进行中。如果你不打算在双机 GB10 上部署 DeepSeek，这个项目和多数人关系不大。

FlashAlign 是一个给大模型做「按需对齐」的工具，核心能力是 abliteration——也就是把模型的拒绝倾向削弱，让它更少说「我不能做这个」。它最实用的地方在于不用永久改权重：同一份模型权重，可以在不同请求上套用不同对齐档案，比如对已验证的用户和渠道放开限制，对其他请求保持原样，或者干脆全局开启。目前提供五个起步档案，覆盖 DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8-27B、Gemma 4 等模型，兼容 vLLM、SGLang、llama.cpp 等主流推理引擎，也能接进 Hermes、OpenClaw 或自建 harness。它解决的麻烦是：想让模型在特定场景少拒绝，又不想为此单独维护一份改过权重的模型副本，还得防止被滥用。适合在本地或私有环境跑推理服务、需要针对不同调用方差异化控制模型行为的算法和平台工程师；如果你只是调用 API 或做应用层开发，跟你的关系不大。

MAFDET 是一个本地 LLM 聊天工具，核心卖点是利用你打字的时间提前干活：你还在输入时，它就同步维护 KV cache 把消息读完，甚至让模型提前开始推理，按 Enter 时大部分工作已经完成。实测在 Qwen3-4B 上把回车后的等待从 12.2 秒压到 3.2 秒，14B 从 108 秒降到 47 秒，答案正确率不变；中途删改、粘贴都不影响结果的正确性。它面向普通消费级硬件，参考机型是 6GB 显存的 RTX 2060，也支持 Apple Silicon 和纯 CPU 运行，提供 GUI 和终端两种界面。适合经常在本地跑 Qwen3 等推理模型、又被 prefill 和思考阶段漫长等待折磨的开发者和研究者；如果你不玩本地大模型，这个项目和你关系不大。

这是一个让你在免费的 Google Colab 上跑起 249GB 大模型 DeepSeek-V4.1-Flash 的方案，本质是把量化后的模型通过 llama.cpp 起成一个 OpenAI 兼容的接口，任何支持自定义 base URL 的客户端都能直接连上用。它做了不少优化：把 MoE 层里最常用的专家常驻 GPU、其余放内存按需换入，再配合投机解码和一批 llama.cpp 补丁，实测能跑到每秒 100 多 token，支持 26 万 token 上下文和图片输入，还能输出独立的推理过程。每次启动会拼入一批 uncensored 张量，去掉模型的安全限制。适合想低成本自托管大模型做实验的个人开发者、AI 编程工具用户，或者需要一个无审查接口接进自己工作流的人；如果你只是调用官方 API，或者没有 Colab 订阅，那和你关系不大。

bootgpt 是一个把语言模型塞进硬盘主引导记录（MBR）的极客项目：开机后不加载任何操作系统，直接在 16 位实模式的 386 上跑一个 11.5 KB 的 int8 量化小模型，让它「做梦」出一段 Linux 启动日志——时间戳、PCI 设备、ACPI 事件，全是不存在的硬件。模型只有 8 字符上下文和一个隐藏层，输出质量约等于乱码版 dmesg，但字符级输出与 Python 模拟完全一致。整个推理引擎压缩在 510 字节的引导扇区里，权重和词表放在后续扇区，前向传播只用整数乘除完成。它属于 boot sector demoscene 的 sizecoding 传统，和 sectorllm 等项目一脉相承，只是走了「极致小而专」的路线。对多数从业者来说这更像行为艺术而非生产力工具，值得花两分钟看的是它展示的量化与整数推理技巧；真正会动手研究的是做底层推理、模型量化或对 demoscene 感兴趣的工程师。