FlashProve 是 Anthropic 的一个研究原型，解决的是「AI 服务商如何证明某个回答确实出自承诺的模型」这一问题：服务商先发布一个绑定权重的承诺 ID，权重本身保持保密；之后每次回复都由 GPU 生成证明，任何人用普通 CPU 几秒内即可验证该回答来自被承诺的模型，而无需看到权重。它已在单张 H100 上跑通 Llama 4 Maverick 全尺寸推理，证明器 prefill 约 110 tokens/秒，协议可靠性用 Lean 4 形式化验证。这适合关注模型供应链可信、AI 服务合规审计以及零知识证明与推理结合方向的研究者和安全工程师；对多数做应用开发的从业者来说，目前只是一个不维护的实验品，参考价值大于实用价值。

ComfyUI 是目前最主流的本地 AI 内容生成引擎，用节点连线的方式把模型、参数和后处理串成可视化工作流，类似给 AI 生图/生视频搭积木，不用写代码。它原生支持几乎所有开源前沿模型，覆盖文生图（Flux、SDXL、Qwen Image）、图生视频（Wan、HunyuanVideo）、音频、3D 重建（Hunyuan3D）乃至文本生成，也通过 Partner nodes 接入 Nano Banana、Seedance 等闭源模型。作为针对消费级硬件优化最狠的推理引擎，它靠异步权重流式加载，4GB 显存也能跑大模型，还能把复杂工作流封装成简洁 UI 或通过 API 接进生产管线。适合视觉设计师、AIGC 内容团队、需要把生图生视频能力产品化的后端与算法工程师，以及想在本地高效跑扩散模型的研究者；如果你完全不碰生成式 AI，那和你关系不大。

vLLM 是目前最主流的开源大模型推理与服务引擎，可以理解为给 LLM 套上了一层高效的「调度+显存管理」外壳，让你用更少的 GPU 跑出更高的吞吐。它的核心卖点是 PagedAttention 和连续批处理，能把 KV cache 像操作系统管理内存一样切块复用，避免显存浪费，同时支持投机解码、量化（FP8、INT4、GPTQ 等）和多种并行策略。它提供 OpenAI 兼容的 API 服务，兼容 Hugging Face 上 200+ 模型架构，覆盖 Llama、Qwen、DeepSeek-V3 等主流 LLM、MoE、多模态和 embedding 模型，硬件上支持 NVIDIA、AMD、Intel GPU 以及 TPU、CPU 等。典型场景是：你想把一个开源模型部署成可对外提供服务的接口，或者在有限显存下压榨出更多并发。如果你是算法工程师、平台/基础设施工程师，或需要自建 LLM 服务的团队，这是绕不开的选型；纯做模型训练或只调用闭源 API 的人关系不大。

这是一个在操作系统启动前、UEFI 阶段解除 NVIDIA 显卡 Tensor 算力限制的工具，可以理解为「不刷 VBIOS 的显卡解锁器」：从 U 盘引导，在驱动加载前把被压制的张量性能放开，之后正常进入 Windows、Linux 或 Hackintosh，断电即恢复原状。它主要解决的是 RTX 20/30/40 系显卡在 AI 负载下被限速的问题，社区实测 FP16/BF16 吞吐最高约 2.6 倍，图像视频生成提速 14% 到 75%，LLM 推理 prefill 最高提升 19%。适合手里有闲置或主力 RTX 30/40 显卡、跑 ComfyUI 生图、Stable Diffusion、本地 LLM 推理或 DirectML 负载的个人开发者和小团队——如果你正抱怨显卡跑 AI 半速、又不想折腾刷 BIOS，值得花时间看兼容性矩阵确认自己的型号；纯做后端、前端或不碰本地推理的人关系不大。

DeepInfer 是 DeepSeek 官方开源的高性能推理框架，也就是支撑 DeepSeek 线上大规模生产服务的那套推理引擎，目前支持 DeepSeek-V4.1-Flash 模型的离线推理。它把 FlashMLA、DeepGEMM、DeepEP 等自研算子和 MoE 专家并行、EPLB 负载均衡、投机采样、异步调度等生产级优化打包在一起，还提供确定性采样和结构化输出（按 JSON schema 或正则约束生成），保证不同 batch 组成下结果一致。适合需要在自有集群上高吞吐部署 DeepSeek 模型的团队，比如做推理服务的算法工程师、负责 GPU 集群利用率的 infra 工程师，以及需要复现 DeepSeek 官方性能基线做选型对比的人。注意它只开源了推理核心，KV cache 系统、Prefill/Decode 分离和负载均衡等完整服务组件并未包含，纯做应用层开发或轻量调用 API 的读者关系不大。

Ollama 是目前最主流的本地大模型运行工具，可以把它理解成「模型界的 Docker」：一条命令就能把 DeepSeek、Qwen、GLM、Gemma、Kimi、MiniMax 等开源模型拉到自己机器上跑起来，数据不出本地，同时提供统一的 REST API 和 Python、JS SDK，方便程序调用。它解决的麻烦很具体：想试一个新模型不用自己配 CUDA、拼推理框架，也不用把敏感数据发给云端 API；最近还打通了 Claude Code、Codex、Copilot CLI 等 AI 编程工具的接入，让这些工具直接用本地模型当后端。值得看的人包括想在内网或个人电脑上跑模型的算法和后端工程师、需要离线或隐私合规方案的团队，以及希望给编程助手换成本地免费模型的开发者；如果你只用云端 API、从不碰开源模型，那和你关系不大。

llama.cpp 是用纯 C/C++ 实现的大模型本地推理引擎，可以理解为「让 LLM 在你自己的电脑上跑起来」的通用底座，几乎所有本地部署方案都绕不开它。它不依赖 Python 环境，支持从 1.5-bit 到 8-bit 的多种量化格式来压缩模型体积，覆盖 Apple Silicon、NVIDIA、AMD、Intel、华为昇腾等几乎所有硬件后端，还能在显存不够时让 CPU 和 GPU 混合推理。实际场景比如：想在自己 Mac 上离线跑 Qwen 或 Llama 做代码补全、给内部知识库搭一个不联网的 RAG 服务、或者在边缘设备上部署轻量模型做语音转写，都可以直接用它起一个兼容 OpenAI 格式的接口。对 AI 应用工程师、算法工程师以及需要私有化部署的后端开发者来说，这是必看的基础设施级项目；如果你只做模型训练或纯云端调用，关系不大。

Project Maya 是一套本地大模型推理引擎，让你在自己的显卡上跑 GLM-5.3-Flash、DeepSeek-V4.1-Flash-1017 和 MiniMax-M3.1-Flash 这几个几百 B 参数的 MoE 巨型模型，从一张卡到 16 张，NVIDIA 或 AMD、Linux 或 Windows 都行。它的核心思路是分层调度：把对话最常用的专家放在显存里，次常用的放内存，其余的放 NVMe SSD，边聊边换，并根据你的硬件自动调优，同时提供 OpenAI 和 Anthropic 兼容的 API，方便接入 coding agent。官方给出的实测是双 5090 加 4090 能到 149 tokens/s，单张 5090 也有 30+。适合想在本地或私有环境跑大模型、又不想把数据传出去的 AI 工程师、算法和 infra 岗位，尤其是需要给多个 agent 会话或小团队提供统一推理接口的场景；如果你平时只调用云端 API，和你关系不大。

PolyStrata 是一个本地大模型推理引擎，让普通 PC 跑起通常需要服务器的模型，数据完全不出本机。它内置 Qwen3.8-Flash-Next、GLM 5.3 Flash、DeepSeek V4 Flash、Qwen3.6、Gemma 4、MiniCPM-V 等十余款模型，一键安装后在本机暴露 OpenAI 和 Anthropic 兼容接口，可直接对接 Claude Code 等编程 Agent 或自己的应用。它支持 Windows 和 Linux，8GB 显存的笔记本也能跑多个 35B 级 MoE 模型，长上下文对显存占用也做了优化。适合想在本地跑模型做开发调试、注重数据隐私的 AI 工程师和后端开发者；如果你只用云端 API，关系不大。

djs 是一个用 no_std Rust 写的 JavaScript/TypeScript 引擎，主要跑在 wasm32 上，定位类似 QuickJS 的替代品，但专为「模型写的脚本调用工具、处理结果」这类场景优化。它的核心卖点是可随时挂起恢复：解释器不在 Rust 栈上递归，能在任意两条指令之间停下再续上，连 getter、Promise 任务、生成器和 async 函数内部也行，配合把等待中的运行状态写成可再加载的续体转储，让一次工具调用可以跨进程持久化。VM 状态全部放在一块字节 arena 里，创建实例只需复制预置镜像，约 40 微秒，且时钟、随机数都由宿主注入，同样输入产出逐字节一致的堆镜像，天然适合需要确定性和沙箱隔离的场景。test262 通过率 99.9%，wasm 下部分负载比 quickjs-wasi 更快。值得看的是做 Agent 运行时、边缘/浏览器内嵌脚本引擎、或需要在服务端安全执行不可信 JS 的工程师；纯前端或后端业务开发基本用不上。

Kairos 是一个开源的实时风控决策引擎，可以看作 Sardine、Sift、Riskified、SEON 这类商业反欺诈服务的替代品：你把注册、登录、下单、支付、提现等事件发给它，它在毫秒级返回通过、二次验证、人工复核或拦截的结论，并附上风险分和依据信号（历史行为、设备/卡/地址的关联、会话特征）。它内置一个叫 Grayson 的决策模型，能用自然语言回答「这个收货地址像不像转售商」「这个邮箱是不是一次性邮箱」，在标签数据很少时就能上线，还能读取地址、描述这类非结构化文本；这些答案可以和你的数值字段一起喂进逻辑回归或 XGBoost 训练。真正的差异化在于调参的人是你的 coding agent：通过 MCP 接入 Claude Code、Cursor 或 Codex，agent 能读取决策记录、设计模型实验、跑对比并把胜出版本发布上线。适合电商、支付、金融科技公司的风控工程师、反欺诈策略和 ML 工程师，尤其是标签稀缺、想用 AI 辅助迭代策略的团队；做通用业务后端或与风控无关的人可以跳过。

这是一个把 PS4 版《The Last of Us Remastered》直接搬到 Windows 上运行的原生移植项目，思路类似 shadPS4 那类模拟器，但更进一步：游戏自身的 x86-64 代码在 PC 上原样执行，只需重新实现 PS4 系统库，并用基于 shadPS4 的 Vulkan 渲染器接管 GPU 工作，另配一个启动器。仓库不含任何游戏文件，需要你自己提供正版拷贝的 dump。目前已有玩家反馈可从头玩到尾，但仍有瑕疵：NPC 偶尔瞬移、首次进场景会因编译着色器卡顿、部分子弹穿透物体无效，鼠标视角也只是模拟右摇杆。性能上 GTX 1050 Ti 级别的笔记本在重场景约 40-44 帧，锁 30 帧更流畅。值得看的是对 PS4 逆向、Vulkan 渲染管线或系统库模拟感兴趣的 C++ 开发者和模拟器社区成员；普通玩家和多数从业者关系不大。

InferSSD 是一个基于 llama.cpp 的本地推理引擎，核心思路是把 MoE 模型的专家权重放在 SSD 上按需流式加载，而不是全部塞进内存或显存，因此能在内存远小于模型体积的机器上跑超大模型。它直接使用标准 GGUF 文件，自带浏览器聊天界面和 OpenAI 兼容 API，目前已支持 DeepSeek-V4.1-Flash-1017（763B 总参数、8-16B 激活）、Muse-Spark-Open（816B）和 Qwen3.6-35B-A3B 等模型。官方测试显示，在 RTX 5090 上预填充速度可达 llama.cpp 的 20 倍以上，MacBook Pro 上也有 3-5 倍提升。适合想在单机上本地跑 DeepSeek、Qwen 系列大 MoE 模型的算法工程师、推理平台开发者，以及没有多卡集群但想体验超大模型的研究者；如果你只用 API 调用云端模型，这个项目和你关系不大。

ForgeKernel 是一个能自我进化的 GPU kernel 优化 agent：它先运行、计时并 profile 一个参考 kernel，把它的架构拆解成一份分阶段的优化任务清单，交给编码 agent 逐步实现，每产出一个被验证更优的 kernel，就顶替参考成为下一轮的起点，直到硬件上榨不出更多性能为止。过程中由 GPU 探针实测确认的硬件特性会沉淀成跨算子共享的知识库。论文里在 Hopper 和 Blackwell 上测试 27 个算子，22 个专家库 kernel（FlashAttention-4、cuDNN、DeepGEMM 等）中有 18 个被追平或超越，最高提升 170.6%，还在 NVIDIA 和华为 CANN 的多个 benchmark 榜单上拿到第一。适合关注算子性能、推理加速的 GPU kernel 工程师和推理框架开发者，以及想用 Agent 做自动优化的研究者；做业务应用或模型调优的人关系不大。

EAGLE-4 是一套 LLM 推理加速方案，属于投机解码（speculative decoding）路线：先用一个小草稿模型快速猜出多个 token，再让目标大模型一次性校验，猜对就直接采纳，从而在不改变输出结果的前提下提速。它配套的 eagle-harness 会根据你实际的硬件、并发批量和负载自动决定猜测的深度和草稿树形状，不用手工调参。实测在 Qwen3.8-27B 上单请求最高 3.4 倍加速，并能接入 SGLang、vLLM、TokenSpeed 等主流推理引擎，高并发下也能保持收益。适合负责 LLM 服务部署和推理性能优化的工程师，尤其是需要在有限 GPU 上压低 token 成本、提升吞吐的团队；如果你不碰推理侧，这个项目和你关系不大。

QwenPU 是一个把「计算机」编译进大模型权重里的实验项目：它在 Qwen3.5-4B 的权重中硬编码了一颗 32 位 RISC-V CPU 和一个向量单元，让模型在自己的前向传播过程中，把另一个小模型 Karpathy 的 stories260K 当作 C 程序跑起来并写出故事。所有新增权重都不是训练出来的，而是由编译器逐个算出的，因此每一步都可精确复现。相比把每条指令拆成大量 token 的早期方案，向量单元把整行矩阵结果压缩成几个 token 流出，效率提升了一个数量级。目前它还处于早期阶段，完整检查点有 26.7 GB，需要 40 GB 以上显卡才能整体加载。对多数从业者来说这更像一个展示「权重即硬件」可能性的概念验证，值得花两分钟了解思路；真正会动手研究的是关注模型内部计算、权重编译和新型推理架构的研究者与工程师。

Kindi 是一个专为低端显卡和 CPU 打造的 LLM 推理引擎，可以理解为 llama.cpp 的「老硬件特化版」。它主打让 1 GB 显存的古董 Quadro K420、GTX 1080、RTX 3080、AMD Radeon 780M 核显乃至纯 CPU 都能跑起 Prism ML 的 Ternary-Bonsai-2 系列三值权重模型（2B 到 27B），也实验性支持 Nemotron 3.5 Bolt E4B，并提供 OpenAI 兼容的服务接口，可直接接入各类聊天客户端、脚本和 AI 编程 Agent。它的实际价值在于榨干被遗忘的硬件：在 K420 上比 llama.cpp 快约 13 倍，CPU 上也快 1.6 到 2.7 倍，prompt cache 对多轮 Agent 场景的提速尤其明显（同一份 9,400 token 文档的第三个问题，0.42 秒对 3.10 秒），且默认输出与 llama.cpp 逐 token 一致。适合手里有闲置旧显卡、想在本地低成本跑小模型做实验的算法和平台工程师；如果你只用云端大模型或高端显卡，这项目和你关系不大。

Xolotl 是一个本地大模型推理引擎，主打在一台游戏 PC（RTX 4090 + 90GB 内存）上跑起 DeepSeek-V4.1-Flash 这种 552B 参数的 MoE 巨型模型，做法是把专家权重分层摊到显存、内存和 NVMe 硬盘上，靠换页换出换取容量，实测能跑到约 27 tok/s、支持 512K 上下文。它同时支持 GLM-5.3-Flash 和 Qwen3.8 系列，对外提供兼容 OpenAI 和 Anthropic 的 API 接口，可以当作本地版的 Claude Code 或 Cursor 后端来用。项目基于 Strata 深度魔改，附带量化好的模型权重。适合想在本地跑大模型做编码 Agent、又没有多卡服务器的个人开发者或小团队，尤其是关注本地推理、显存优化和 MoE offloading 的工程师；如果你只用云端 API，这个项目和你关系不大。

这是一个把 PlayStation 2 游戏搬进浏览器的项目：它不靠传统模拟器逐条解释指令，而是把游戏光盘里 Emotion Engine 的机器码提前翻译成 C++ 再编译成 WebAssembly，主 CPU 全程以接近原生的速度跑，其余主机硬件、操作系统和图形则由一个基于 WebGPU 的运行时模拟。目前跑通了 Gran Turismo 4 和 God of War II，前者在笔记本集显的 Chrome 里能以两倍原生分辨率满帧跑比赛，后者在激烈战斗中稳定 60 帧，光盘镜像通过 HTTP 按需读取，存档留在浏览器里。它对游戏开发者和模拟器开发者很有参考价值——里面涉及静态重编译、向量单元时序建模、WebGPU 光栅化等硬核实现；普通从业者当个技术演示看看也挺有意思，但和日常工作关系不大。

Flare 是 NVIDIA 开源的本地推理服务，用 Rust 写成，专门面向搭载 SM120/SM121 GPU 的工作站和 DGX Spark 这类紧凑机型，目标是把机器的显存、带宽和算力榨干，同时让长对话和反复调用工具时的生成保持流畅。它的做法是构建期用 PyTorch、Transformers 和 FlashInfer 加载模型、调优 kernel 并捕获 CUDA graph，产出运行时包后由 Rust 直接服务，全程不碰 Python；对话状态（含 KV cache 和循环状态）被整体规划，方便复用、分支和恢复。作者明确说它不是 vLLM 的替代品，而是针对特定硬件和模型的专用选项，属于研究原型。如果你在本地跑编码 Agent、需要长时间多轮对话或频繁工具调用，又恰好用的是这类 NVIDIA GPU，可以看看；做生产部署或用其他硬件的人关系不大。

Hob 是一款桌面端 AI 助手，可以看作本地版的 ChatGPT 或 Claude：它在你的 Mac、Windows 或 Linux 电脑上直接运行 Gemma、gpt-oss 等开源权重模型，数据不出本机，断网也能用。它会根据你的硬件自动挑选合适的模型并完成配置，省去自己折腾 llama-cpp 环境的麻烦。实际用途包括填写 PDF、批量处理文档、日常问答和写作辅助，适合不想把资料上传到云端、又需要离线可用 AI 的场景。如果你是经常处理敏感合同、财务或客户资料的法务、财务、行政人员，或是对隐私有硬性要求的开发者，它值得下载试试；但如果你只是想要最强的模型能力、对数据上云无所谓，云端服务仍是更省心的选择。

OpenAssembler 是一个开源的 PTX 到 SASS 编译器，相当于把 NVIDIA 闭源的 ptxas 重新实现了一遍。作者通过黑盒方式逆向工程出指令编码、调度策略和 ELF 容器格式，然后替换成自己的代码生成器，支持把 Python 子集、CUDA C/C++ 或 PTX 编译成 SASS 和 cubin，目标硬件是 A100（sm_80）。它还带一个 SASS 模拟器，张量核心指令的数值结果与真机逐位一致。实际效果上，部分矩阵乘法内核比 ptxas 快，微基准测试范围在 0.92× 到 1.36× 之间，也导入了 AlphaTensor 的 97 个低秩分解在 A100 上与 cuBLAS 对比，但作者明确说这只是内核级测量，不代表 LLM 训练整体提速。适合关注 GPU 底层性能优化、做 CUDA 内核开发或对编译器后端感兴趣的工程师；如果你只做模型训练或推理调用，和你关系不大。

ClusterChat 是一个纯浏览器运行的分布式推理聊天工具，思路类似 Petals 或 exo，但把模型切分的对象换成了你和朋友各自机器上的显卡：通过 WebRTC 把多台电脑的 GPU 拼成一块，共同跑起一个 27B 的 Qwen 模型，全程零安装，打开链接即可用。它解决的痛点很具体——27B 模型约需 27GB 显存，单人往往不够，但一个实验室、俱乐部或朋友圈凑一凑通常有，于是每个人都能在自己的聊天窗口里同时对话，最多支持 64 人、多条回复并行生成；中途有人退出也不会中断，因为每段模型权重都有多个浏览器持有，丢失的工作会自动在别处重放。实测两块 RTX 3090 上 12 人同时聊天仍能保持每条回复 7.1 tok/s，跨两台机器也有 8.1 tok/s。值得看的是那些手里有闲置显卡、想和同事朋友共享一个大模型的研究者、学生团队或极客玩家；如果你没有多卡环境，这项目跟多数人关系不大。

这是一个把 DeepSeek-V4.1-Flash 模型跑在两台 NVIDIA DGX Spark（GB10）上的推理部署方案，核心是作者自己改的 TensorFold 引擎分支，用 2.9bpw 量化加双机张量并行，实测解码速度约为标准 vLLM 部署的 2.1-2.3 倍：散文 57 tok/s、代码 92 tok/s，32K 长提示的预填充速度约 2,200 tok/s，还把上下文窗口拉到 1M token 并通过了百万级大海捞针测试。它面向需要长上下文和低延迟的场景，比如让 Agent 高频调用工具、对同一份长文档反复追问（前缀缓存让第二次提问的首字延迟从 13 秒降到 1 秒），支持强制工具调用、结构化输出和 4 路并发。适合手里有 DGX Spark 硬件、正在为本地大模型部署做性能选型的推理工程师和基础设施负责人参考；README 也注明完整硬件验证尚在进行中。如果你不打算在双机 GB10 上部署 DeepSeek，这个项目和多数人关系不大。

FlashAlign 是一个给大模型做「按需对齐」的工具，核心能力是 abliteration——也就是把模型的拒绝倾向削弱，让它更少说「我不能做这个」。它最实用的地方在于不用永久改权重：同一份模型权重，可以在不同请求上套用不同对齐档案，比如对已验证的用户和渠道放开限制，对其他请求保持原样，或者干脆全局开启。目前提供五个起步档案，覆盖 DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8-27B、Gemma 4 等模型，兼容 vLLM、SGLang、llama.cpp 等主流推理引擎，也能接进 Hermes、OpenClaw 或自建 harness。它解决的麻烦是：想让模型在特定场景少拒绝，又不想为此单独维护一份改过权重的模型副本，还得防止被滥用。适合在本地或私有环境跑推理服务、需要针对不同调用方差异化控制模型行为的算法和平台工程师；如果你只是调用 API 或做应用层开发，跟你的关系不大。