FlashProve 是 Anthropic 的一个研究原型，解决的是「AI 服务商如何证明某个回答确实出自承诺的模型」这一问题：服务商先发布一个绑定权重的承诺 ID，权重本身保持保密；之后每次回复都由 GPU 生成证明，任何人用普通 CPU 几秒内即可验证该回答来自被承诺的模型，而无需看到权重。它已在单张 H100 上跑通 Llama 4 Maverick 全尺寸推理，证明器 prefill 约 110 tokens/秒，协议可靠性用 Lean 4 形式化验证。这适合关注模型供应链可信、AI 服务合规审计以及零知识证明与推理结合方向的研究者和安全工程师；对多数做应用开发的从业者来说，目前只是一个不维护的实验品，参考价值大于实用价值。

ComfyUI 是目前最主流的本地 AI 内容生成引擎，用节点连线的方式把模型、参数和后处理串成可视化工作流，类似给 AI 生图/生视频搭积木，不用写代码。它原生支持几乎所有开源前沿模型，覆盖文生图（Flux、SDXL、Qwen Image）、图生视频（Wan、HunyuanVideo）、音频、3D 重建（Hunyuan3D）乃至文本生成，也通过 Partner nodes 接入 Nano Banana、Seedance 等闭源模型。作为针对消费级硬件优化最狠的推理引擎，它靠异步权重流式加载，4GB 显存也能跑大模型，还能把复杂工作流封装成简洁 UI 或通过 API 接进生产管线。适合视觉设计师、AIGC 内容团队、需要把生图生视频能力产品化的后端与算法工程师，以及想在本地高效跑扩散模型的研究者；如果你完全不碰生成式 AI，那和你关系不大。

vLLM 是目前最主流的开源大模型推理与服务引擎，可以理解为给 LLM 套上了一层高效的「调度+显存管理」外壳，让你用更少的 GPU 跑出更高的吞吐。它的核心卖点是 PagedAttention 和连续批处理，能把 KV cache 像操作系统管理内存一样切块复用，避免显存浪费，同时支持投机解码、量化（FP8、INT4、GPTQ 等）和多种并行策略。它提供 OpenAI 兼容的 API 服务，兼容 Hugging Face 上 200+ 模型架构，覆盖 Llama、Qwen、DeepSeek-V3 等主流 LLM、MoE、多模态和 embedding 模型，硬件上支持 NVIDIA、AMD、Intel GPU 以及 TPU、CPU 等。典型场景是：你想把一个开源模型部署成可对外提供服务的接口，或者在有限显存下压榨出更多并发。如果你是算法工程师、平台/基础设施工程师，或需要自建 LLM 服务的团队，这是绕不开的选型；纯做模型训练或只调用闭源 API 的人关系不大。

这是一个在操作系统启动前、UEFI 阶段解除 NVIDIA 显卡 Tensor 算力限制的工具，可以理解为「不刷 VBIOS 的显卡解锁器」：从 U 盘引导，在驱动加载前把被压制的张量性能放开，之后正常进入 Windows、Linux 或 Hackintosh，断电即恢复原状。它主要解决的是 RTX 20/30/40 系显卡在 AI 负载下被限速的问题，社区实测 FP16/BF16 吞吐最高约 2.6 倍，图像视频生成提速 14% 到 75%，LLM 推理 prefill 最高提升 19%。适合手里有闲置或主力 RTX 30/40 显卡、跑 ComfyUI 生图、Stable Diffusion、本地 LLM 推理或 DirectML 负载的个人开发者和小团队——如果你正抱怨显卡跑 AI 半速、又不想折腾刷 BIOS，值得花时间看兼容性矩阵确认自己的型号；纯做后端、前端或不碰本地推理的人关系不大。

DeepInfer 是 DeepSeek 官方开源的高性能推理框架，也就是支撑 DeepSeek 线上大规模生产服务的那套推理引擎，目前支持 DeepSeek-V4.1-Flash 模型的离线推理。它把 FlashMLA、DeepGEMM、DeepEP 等自研算子和 MoE 专家并行、EPLB 负载均衡、投机采样、异步调度等生产级优化打包在一起，还提供确定性采样和结构化输出（按 JSON schema 或正则约束生成），保证不同 batch 组成下结果一致。适合需要在自有集群上高吞吐部署 DeepSeek 模型的团队，比如做推理服务的算法工程师、负责 GPU 集群利用率的 infra 工程师，以及需要复现 DeepSeek 官方性能基线做选型对比的人。注意它只开源了推理核心，KV cache 系统、Prefill/Decode 分离和负载均衡等完整服务组件并未包含，纯做应用层开发或轻量调用 API 的读者关系不大。

Ollama 是目前最主流的本地大模型运行工具，可以把它理解成「模型界的 Docker」：一条命令就能把 DeepSeek、Qwen、GLM、Gemma、Kimi、MiniMax 等开源模型拉到自己机器上跑起来，数据不出本地，同时提供统一的 REST API 和 Python、JS SDK，方便程序调用。它解决的麻烦很具体：想试一个新模型不用自己配 CUDA、拼推理框架，也不用把敏感数据发给云端 API；最近还打通了 Claude Code、Codex、Copilot CLI 等 AI 编程工具的接入，让这些工具直接用本地模型当后端。值得看的人包括想在内网或个人电脑上跑模型的算法和后端工程师、需要离线或隐私合规方案的团队，以及希望给编程助手换成本地免费模型的开发者；如果你只用云端 API、从不碰开源模型，那和你关系不大。

llama.cpp 是用纯 C/C++ 实现的大模型本地推理引擎，可以理解为「让 LLM 在你自己的电脑上跑起来」的通用底座，几乎所有本地部署方案都绕不开它。它不依赖 Python 环境，支持从 1.5-bit 到 8-bit 的多种量化格式来压缩模型体积，覆盖 Apple Silicon、NVIDIA、AMD、Intel、华为昇腾等几乎所有硬件后端，还能在显存不够时让 CPU 和 GPU 混合推理。实际场景比如：想在自己 Mac 上离线跑 Qwen 或 Llama 做代码补全、给内部知识库搭一个不联网的 RAG 服务、或者在边缘设备上部署轻量模型做语音转写，都可以直接用它起一个兼容 OpenAI 格式的接口。对 AI 应用工程师、算法工程师以及需要私有化部署的后端开发者来说，这是必看的基础设施级项目；如果你只做模型训练或纯云端调用，关系不大。

Project Maya 是一套本地大模型推理引擎，让你在自己的显卡上跑 GLM-5.3-Flash、DeepSeek-V4.1-Flash-1017 和 MiniMax-M3.1-Flash 这几个几百 B 参数的 MoE 巨型模型，从一张卡到 16 张，NVIDIA 或 AMD、Linux 或 Windows 都行。它的核心思路是分层调度：把对话最常用的专家放在显存里，次常用的放内存，其余的放 NVMe SSD，边聊边换，并根据你的硬件自动调优，同时提供 OpenAI 和 Anthropic 兼容的 API，方便接入 coding agent。官方给出的实测是双 5090 加 4090 能到 149 tokens/s，单张 5090 也有 30+。适合想在本地或私有环境跑大模型、又不想把数据传出去的 AI 工程师、算法和 infra 岗位，尤其是需要给多个 agent 会话或小团队提供统一推理接口的场景；如果你平时只调用云端 API，和你关系不大。

PolyStrata 是一个本地大模型推理引擎，让普通 PC 跑起通常需要服务器的模型，数据完全不出本机。它内置 Qwen3.8-Flash-Next、GLM 5.3 Flash、DeepSeek V4 Flash、Qwen3.6、Gemma 4、MiniCPM-V 等十余款模型，一键安装后在本机暴露 OpenAI 和 Anthropic 兼容接口，可直接对接 Claude Code 等编程 Agent 或自己的应用。它支持 Windows 和 Linux，8GB 显存的笔记本也能跑多个 35B 级 MoE 模型，长上下文对显存占用也做了优化。适合想在本地跑模型做开发调试、注重数据隐私的 AI 工程师和后端开发者；如果你只用云端 API，关系不大。

EdgeRock 是 Rock Matrix 推出的固定内存多模态模型系列，首个开源版本 EdgeRock-4B 能理解文本和图像，用于推理、编码和 Agent 任务。它解决的是长上下文推理时显存不断膨胀的问题：常规模型的 KV cache 随上下文线性增长，而 EdgeRock 用循环状态概括历史、局部注意力处理近期信息、再配合 Rock Memory Anchors 保留关键细节，让每条序列的注意力 KV 固定在 72 MiB，比同级的 Qwen3.5-4B 少 99.1%，省下的显存可以用来跑更多并发请求，输出吞吐达到其 6.42 倍。数学推理上它在 AIME 上拿到 82.9% 的平均 pass@1，远超同类有界状态基线。值得看的是做推理服务、Agent 基础设施和端侧部署的工程师，尤其是被长会话、长任务的显存成本卡住的人；如果你不涉及模型部署和推理优化，跟你的关系不大。

djs 是一个用 no_std Rust 写的 JavaScript/TypeScript 引擎，主要跑在 wasm32 上，定位类似 QuickJS 的替代品，但专为「模型写的脚本调用工具、处理结果」这类场景优化。它的核心卖点是可随时挂起恢复：解释器不在 Rust 栈上递归，能在任意两条指令之间停下再续上，连 getter、Promise 任务、生成器和 async 函数内部也行，配合把等待中的运行状态写成可再加载的续体转储，让一次工具调用可以跨进程持久化。VM 状态全部放在一块字节 arena 里，创建实例只需复制预置镜像，约 40 微秒，且时钟、随机数都由宿主注入，同样输入产出逐字节一致的堆镜像，天然适合需要确定性和沙箱隔离的场景。test262 通过率 99.9%，wasm 下部分负载比 quickjs-wasi 更快。值得看的是做 Agent 运行时、边缘/浏览器内嵌脚本引擎、或需要在服务端安全执行不可信 JS 的工程师；纯前端或后端业务开发基本用不上。

Kairos 是一个开源的实时风控决策引擎，可以看作 Sardine、Sift、Riskified、SEON 这类商业反欺诈服务的替代品：你把注册、登录、下单、支付、提现等事件发给它，它在毫秒级返回通过、二次验证、人工复核或拦截的结论，并附上风险分和依据信号（历史行为、设备/卡/地址的关联、会话特征）。它内置一个叫 Grayson 的决策模型，能用自然语言回答「这个收货地址像不像转售商」「这个邮箱是不是一次性邮箱」，在标签数据很少时就能上线，还能读取地址、描述这类非结构化文本；这些答案可以和你的数值字段一起喂进逻辑回归或 XGBoost 训练。真正的差异化在于调参的人是你的 coding agent：通过 MCP 接入 Claude Code、Cursor 或 Codex，agent 能读取决策记录、设计模型实验、跑对比并把胜出版本发布上线。适合电商、支付、金融科技公司的风控工程师、反欺诈策略和 ML 工程师，尤其是标签稀缺、想用 AI 辅助迭代策略的团队；做通用业务后端或与风控无关的人可以跳过。

这是一个 Linux 内核模块，能在 NVIDIA 官方驱动加载前修改 RTX 4090（以及实验性的 RTX 4070 Ti SUPER）的 GPU 寄存器，解锁被屏蔽的 tensor core 速度档位。实测在 450W 功耗墙不变的情况下，FP16/BF16 配 FP32 累加的指令吞吐从约 165 TF/s 翻倍到 330 TF/s，INT8 和普通 FP32 不受影响，且能扛过 PCIe 复位和驱动初始化。但要注意它不是「整机推理提速两倍」：真实 cuBLAS GEMM 视矩阵形状只提升 12%–34%，量化 MoE 推理场景基本零收益，功耗墙下还会被压回。适合两类人看：跑 FP16/BF16 训练或稠密 GEMM 的个人研究者、想压榨二手 4090 算力的炼丹玩家，以及对 GPU 底层寄存器和驱动交互好奇的系统工程师；如果你主要做量化推理或生产部署，这项目和你关系不大，还可能带来稳定性风险。

这是一个把 PS4 版《The Last of Us Remastered》直接搬到 Windows 上运行的原生移植项目，思路类似 shadPS4 那类模拟器，但更进一步：游戏自身的 x86-64 代码在 PC 上原样执行，只需重新实现 PS4 系统库，并用基于 shadPS4 的 Vulkan 渲染器接管 GPU 工作，另配一个启动器。仓库不含任何游戏文件，需要你自己提供正版拷贝的 dump。目前已有玩家反馈可从头玩到尾，但仍有瑕疵：NPC 偶尔瞬移、首次进场景会因编译着色器卡顿、部分子弹穿透物体无效，鼠标视角也只是模拟右摇杆。性能上 GTX 1050 Ti 级别的笔记本在重场景约 40-44 帧，锁 30 帧更流畅。值得看的是对 PS4 逆向、Vulkan 渲染管线或系统库模拟感兴趣的 C++ 开发者和模拟器社区成员；普通玩家和多数从业者关系不大。

InferSSD 是一个基于 llama.cpp 的本地推理引擎，核心思路是把 MoE 模型的专家权重放在 SSD 上按需流式加载，而不是全部塞进内存或显存，因此能在内存远小于模型体积的机器上跑超大模型。它直接使用标准 GGUF 文件，自带浏览器聊天界面和 OpenAI 兼容 API，目前已支持 DeepSeek-V4.1-Flash-1017（763B 总参数、8-16B 激活）、Muse-Spark-Open（816B）和 Qwen3.6-35B-A3B 等模型。官方测试显示，在 RTX 5090 上预填充速度可达 llama.cpp 的 20 倍以上，MacBook Pro 上也有 3-5 倍提升。适合想在单机上本地跑 DeepSeek、Qwen 系列大 MoE 模型的算法工程师、推理平台开发者，以及没有多卡集群但想体验超大模型的研究者；如果你只用 API 调用云端模型，这个项目和你关系不大。

StartLux-Prism 是 StartLux-Decision 系列决策模型的高性能推理引擎，可以理解成这类模型的专用 vLLM 替代品：它直接加载官方发布的 GGUF 量化文件，在 NVIDIA GPU 上提供服务，把每个问题拆解成对各个选项的校准概率，而不是只给一个文本答案。相比官方引擎，它在 H200 上延迟最高降低 5.3 倍，同时输出逐位一致——无论批量大小、GPU 数量还是是否命中前缀缓存，同一请求得到完全相同的概率，这对需要可复现结果的业务很关键。典型场景包括客服意图分类、结构化决策打分，比如一次请求对一段视频提出 24 个结构化问题，27B 模型 0.21 秒返回；4-bit 权重下 27B 还能在单张 32GB RTX 5090 上跑。适合需要部署 StartLux-Decision 模型做分类、决策或结构化输出的算法和推理平台工程师，尤其是对延迟敏感、要求结果可复现的线上服务；不涉及这类模型的读者关系不大。

ForgeKernel 是一个能自我进化的 GPU kernel 优化 agent：它先运行、计时并 profile 一个参考 kernel，把它的架构拆解成一份分阶段的优化任务清单，交给编码 agent 逐步实现，每产出一个被验证更优的 kernel，就顶替参考成为下一轮的起点，直到硬件上榨不出更多性能为止。过程中由 GPU 探针实测确认的硬件特性会沉淀成跨算子共享的知识库。论文里在 Hopper 和 Blackwell 上测试 27 个算子，22 个专家库 kernel（FlashAttention-4、cuDNN、DeepGEMM 等）中有 18 个被追平或超越，最高提升 170.6%，还在 NVIDIA 和华为 CANN 的多个 benchmark 榜单上拿到第一。适合关注算子性能、推理加速的 GPU kernel 工程师和推理框架开发者，以及想用 Agent 做自动优化的研究者；做业务应用或模型调优的人关系不大。

EAGLE-4 是一套 LLM 推理加速方案，属于投机解码（speculative decoding）路线：先用一个小草稿模型快速猜出多个 token，再让目标大模型一次性校验，猜对就直接采纳，从而在不改变输出结果的前提下提速。它配套的 eagle-harness 会根据你实际的硬件、并发批量和负载自动决定猜测的深度和草稿树形状，不用手工调参。实测在 Qwen3.8-27B 上单请求最高 3.4 倍加速，并能接入 SGLang、vLLM、TokenSpeed 等主流推理引擎，高并发下也能保持收益。适合负责 LLM 服务部署和推理性能优化的工程师，尤其是需要在有限 GPU 上压低 token 成本、提升吞吐的团队；如果你不碰推理侧，这个项目和你关系不大。

QwenPU 是一个把「计算机」编译进大模型权重里的实验项目：它在 Qwen3.5-4B 的权重中硬编码了一颗 32 位 RISC-V CPU 和一个向量单元，让模型在自己的前向传播过程中，把另一个小模型 Karpathy 的 stories260K 当作 C 程序跑起来并写出故事。所有新增权重都不是训练出来的，而是由编译器逐个算出的，因此每一步都可精确复现。相比把每条指令拆成大量 token 的早期方案，向量单元把整行矩阵结果压缩成几个 token 流出，效率提升了一个数量级。目前它还处于早期阶段，完整检查点有 26.7 GB，需要 40 GB 以上显卡才能整体加载。对多数从业者来说这更像一个展示「权重即硬件」可能性的概念验证，值得花两分钟了解思路；真正会动手研究的是关注模型内部计算、权重编译和新型推理架构的研究者与工程师。

Kindi 是一个专为低端显卡和 CPU 打造的 LLM 推理引擎，可以理解为 llama.cpp 的「老硬件特化版」。它主打让 1 GB 显存的古董 Quadro K420、GTX 1080、RTX 3080、AMD Radeon 780M 核显乃至纯 CPU 都能跑起 Prism ML 的 Ternary-Bonsai-2 系列三值权重模型（2B 到 27B），也实验性支持 Nemotron 3.5 Bolt E4B，并提供 OpenAI 兼容的服务接口，可直接接入各类聊天客户端、脚本和 AI 编程 Agent。它的实际价值在于榨干被遗忘的硬件：在 K420 上比 llama.cpp 快约 13 倍，CPU 上也快 1.6 到 2.7 倍，prompt cache 对多轮 Agent 场景的提速尤其明显（同一份 9,400 token 文档的第三个问题，0.42 秒对 3.10 秒），且默认输出与 llama.cpp 逐 token 一致。适合手里有闲置旧显卡、想在本地低成本跑小模型做实验的算法和平台工程师；如果你只用云端大模型或高端显卡，这项目和你关系不大。

Xolotl 是一个本地大模型推理引擎，主打在一台游戏 PC（RTX 4090 + 90GB 内存）上跑起 DeepSeek-V4.1-Flash 这种 552B 参数的 MoE 巨型模型，做法是把专家权重分层摊到显存、内存和 NVMe 硬盘上，靠换页换出换取容量，实测能跑到约 27 tok/s、支持 512K 上下文。它同时支持 GLM-5.3-Flash 和 Qwen3.8 系列，对外提供兼容 OpenAI 和 Anthropic 的 API 接口，可以当作本地版的 Claude Code 或 Cursor 后端来用。项目基于 Strata 深度魔改，附带量化好的模型权重。适合想在本地跑大模型做编码 Agent、又没有多卡服务器的个人开发者或小团队，尤其是关注本地推理、显存优化和 MoE offloading 的工程师；如果你只用云端 API，这个项目和你关系不大。

这是一个把 PlayStation 2 游戏搬进浏览器的项目：它不靠传统模拟器逐条解释指令，而是把游戏光盘里 Emotion Engine 的机器码提前翻译成 C++ 再编译成 WebAssembly，主 CPU 全程以接近原生的速度跑，其余主机硬件、操作系统和图形则由一个基于 WebGPU 的运行时模拟。目前跑通了 Gran Turismo 4 和 God of War II，前者在笔记本集显的 Chrome 里能以两倍原生分辨率满帧跑比赛，后者在激烈战斗中稳定 60 帧，光盘镜像通过 HTTP 按需读取，存档留在浏览器里。它对游戏开发者和模拟器开发者很有参考价值——里面涉及静态重编译、向量单元时序建模、WebGPU 光栅化等硬核实现；普通从业者当个技术演示看看也挺有意思，但和日常工作关系不大。

Flare 是 NVIDIA 开源的本地推理服务，用 Rust 写成，专门面向搭载 SM120/SM121 GPU 的工作站和 DGX Spark 这类紧凑机型，目标是把机器的显存、带宽和算力榨干，同时让长对话和反复调用工具时的生成保持流畅。它的做法是构建期用 PyTorch、Transformers 和 FlashInfer 加载模型、调优 kernel 并捕获 CUDA graph，产出运行时包后由 Rust 直接服务，全程不碰 Python；对话状态（含 KV cache 和循环状态）被整体规划，方便复用、分支和恢复。作者明确说它不是 vLLM 的替代品，而是针对特定硬件和模型的专用选项，属于研究原型。如果你在本地跑编码 Agent、需要长时间多轮对话或频繁工具调用，又恰好用的是这类 NVIDIA GPU，可以看看；做生产部署或用其他硬件的人关系不大。

Hob 是一款桌面端 AI 助手，可以看作本地版的 ChatGPT 或 Claude：它在你的 Mac、Windows 或 Linux 电脑上直接运行 Gemma、gpt-oss 等开源权重模型，数据不出本机，断网也能用。它会根据你的硬件自动挑选合适的模型并完成配置，省去自己折腾 llama-cpp 环境的麻烦。实际用途包括填写 PDF、批量处理文档、日常问答和写作辅助，适合不想把资料上传到云端、又需要离线可用 AI 的场景。如果你是经常处理敏感合同、财务或客户资料的法务、财务、行政人员，或是对隐私有硬性要求的开发者，它值得下载试试；但如果你只是想要最强的模型能力、对数据上云无所谓，云端服务仍是更省心的选择。

Timestral 是 Mistral AI 推出的时间序列基础模型家族，可以理解为「时间序列领域的 GPT」：先在海量数据上预训练，再零样本直接对新序列做多变量概率预测，无需为每个业务单独训练。它支持最多 32768 步的长上下文，能联合预测多个相关变量，并引入仅历史或已知未来的协变量（比如促销日、节假日），每个时间点输出 21 个分位数，给出的不只是一个点估计而是完整的不确定性区间。发布时在 GIFT-Eval、TIME、fev-bench 三大公开预测基准的预训练与零样本模型中均排名第一，提供 5M 到 209M 四种尺寸，最小的仅 21MB，纯 CPU 即可推理。做销量预测、库存补货、能耗负荷、运维指标监控等场景的算法和数据工程师值得一看，尤其是那些过去只能靠 Prophet、LightGBM 或自建 LSTM 逐条调参、现在想用统一预训练模型省掉训练成本的团队；纯做 LLM 应用或不涉及预测的人关系不大。