DeepInfer 是 DeepSeek 官方开源的高性能推理框架，也就是支撑 DeepSeek 线上大规模生产服务的那套推理引擎，目前支持 DeepSeek-V4.1-Flash 模型的离线推理。它把 FlashMLA、DeepGEMM、DeepEP 等自研算子和 MoE 专家并行、EPLB 负载均衡、投机采样、异步调度等生产级优化打包在一起，还提供确定性采样和结构化输出（按 JSON schema 或正则约束生成），保证不同 batch 组成下结果一致。适合需要在自有集群上高吞吐部署 DeepSeek 模型的团队，比如做推理服务的算法工程师、负责 GPU 集群利用率的 infra 工程师，以及需要复现 DeepSeek 官方性能基线做选型对比的人。注意它只开源了推理核心，KV cache 系统、Prefill/Decode 分离和负载均衡等完整服务组件并未包含，纯做应用层开发或轻量调用 API 的读者关系不大。

EdgeRock 是 Rock Matrix 推出的固定内存多模态模型系列，首个开源版本 EdgeRock-4B 能理解文本和图像，用于推理、编码和 Agent 任务。它解决的是长上下文推理时显存不断膨胀的问题：常规模型的 KV cache 随上下文线性增长，而 EdgeRock 用循环状态概括历史、局部注意力处理近期信息、再配合 Rock Memory Anchors 保留关键细节，让每条序列的注意力 KV 固定在 72 MiB，比同级的 Qwen3.5-4B 少 99.1%，省下的显存可以用来跑更多并发请求，输出吞吐达到其 6.42 倍。数学推理上它在 AIME 上拿到 82.9% 的平均 pass@1，远超同类有界状态基线。值得看的是做推理服务、Agent 基础设施和端侧部署的工程师，尤其是被长会话、长任务的显存成本卡住的人；如果你不涉及模型部署和推理优化，跟你的关系不大。

StartLux-Prism 是 StartLux-Decision 系列决策模型的高性能推理引擎，可以理解成这类模型的专用 vLLM 替代品：它直接加载官方发布的 GGUF 量化文件，在 NVIDIA GPU 上提供服务，把每个问题拆解成对各个选项的校准概率，而不是只给一个文本答案。相比官方引擎，它在 H200 上延迟最高降低 5.3 倍，同时输出逐位一致——无论批量大小、GPU 数量还是是否命中前缀缓存，同一请求得到完全相同的概率，这对需要可复现结果的业务很关键。典型场景包括客服意图分类、结构化决策打分，比如一次请求对一段视频提出 24 个结构化问题，27B 模型 0.21 秒返回；4-bit 权重下 27B 还能在单张 32GB RTX 5090 上跑。适合需要部署 StartLux-Decision 模型做分类、决策或结构化输出的算法和推理平台工程师，尤其是对延迟敏感、要求结果可复现的线上服务；不涉及这类模型的读者关系不大。

ForgeKernel 是一个能自我进化的 GPU kernel 优化 agent：它先运行、计时并 profile 一个参考 kernel，把它的架构拆解成一份分阶段的优化任务清单，交给编码 agent 逐步实现，每产出一个被验证更优的 kernel，就顶替参考成为下一轮的起点，直到硬件上榨不出更多性能为止。过程中由 GPU 探针实测确认的硬件特性会沉淀成跨算子共享的知识库。论文里在 Hopper 和 Blackwell 上测试 27 个算子，22 个专家库 kernel（FlashAttention-4、cuDNN、DeepGEMM 等）中有 18 个被追平或超越，最高提升 170.6%，还在 NVIDIA 和华为 CANN 的多个 benchmark 榜单上拿到第一。适合关注算子性能、推理加速的 GPU kernel 工程师和推理框架开发者，以及想用 Agent 做自动优化的研究者；做业务应用或模型调优的人关系不大。

EAGLE-4 是一套 LLM 推理加速方案，属于投机解码（speculative decoding）路线：先用一个小草稿模型快速猜出多个 token，再让目标大模型一次性校验，猜对就直接采纳，从而在不改变输出结果的前提下提速。它配套的 eagle-harness 会根据你实际的硬件、并发批量和负载自动决定猜测的深度和草稿树形状，不用手工调参。实测在 Qwen3.8-27B 上单请求最高 3.4 倍加速，并能接入 SGLang、vLLM、TokenSpeed 等主流推理引擎，高并发下也能保持收益。适合负责 LLM 服务部署和推理性能优化的工程师，尤其是需要在有限 GPU 上压低 token 成本、提升吞吐的团队；如果你不碰推理侧，这个项目和你关系不大。

QwenPU 是一个把「计算机」编译进大模型权重里的实验项目：它在 Qwen3.5-4B 的权重中硬编码了一颗 32 位 RISC-V CPU 和一个向量单元，让模型在自己的前向传播过程中，把另一个小模型 Karpathy 的 stories260K 当作 C 程序跑起来并写出故事。所有新增权重都不是训练出来的，而是由编译器逐个算出的，因此每一步都可精确复现。相比把每条指令拆成大量 token 的早期方案，向量单元把整行矩阵结果压缩成几个 token 流出，效率提升了一个数量级。目前它还处于早期阶段，完整检查点有 26.7 GB，需要 40 GB 以上显卡才能整体加载。对多数从业者来说这更像一个展示「权重即硬件」可能性的概念验证，值得花两分钟了解思路；真正会动手研究的是关注模型内部计算、权重编译和新型推理架构的研究者与工程师。

Kindi 是一个专为低端显卡和 CPU 打造的 LLM 推理引擎，可以理解为 llama.cpp 的「老硬件特化版」。它主打让 1 GB 显存的古董 Quadro K420、GTX 1080、RTX 3080、AMD Radeon 780M 核显乃至纯 CPU 都能跑起 Prism ML 的 Ternary-Bonsai-2 系列三值权重模型（2B 到 27B），也实验性支持 Nemotron 3.5 Bolt E4B，并提供 OpenAI 兼容的服务接口，可直接接入各类聊天客户端、脚本和 AI 编程 Agent。它的实际价值在于榨干被遗忘的硬件：在 K420 上比 llama.cpp 快约 13 倍，CPU 上也快 1.6 到 2.7 倍，prompt cache 对多轮 Agent 场景的提速尤其明显（同一份 9,400 token 文档的第三个问题，0.42 秒对 3.10 秒），且默认输出与 llama.cpp 逐 token 一致。适合手里有闲置旧显卡、想在本地低成本跑小模型做实验的算法和平台工程师；如果你只用云端大模型或高端显卡，这项目和你关系不大。

Timestral 是 Mistral AI 推出的时间序列基础模型家族，可以理解为「时间序列领域的 GPT」：先在海量数据上预训练，再零样本直接对新序列做多变量概率预测，无需为每个业务单独训练。它支持最多 32768 步的长上下文，能联合预测多个相关变量，并引入仅历史或已知未来的协变量（比如促销日、节假日），每个时间点输出 21 个分位数，给出的不只是一个点估计而是完整的不确定性区间。发布时在 GIFT-Eval、TIME、fev-bench 三大公开预测基准的预训练与零样本模型中均排名第一，提供 5M 到 209M 四种尺寸，最小的仅 21MB，纯 CPU 即可推理。做销量预测、库存补货、能耗负荷、运维指标监控等场景的算法和数据工程师值得一看，尤其是那些过去只能靠 Prophet、LightGBM 或自建 LSTM 逐条调参、现在想用统一预训练模型省掉训练成本的团队；纯做 LLM 应用或不涉及预测的人关系不大。

这是一个把 DeepSeek-V4.1-Flash 模型跑在两台 NVIDIA DGX Spark（GB10）上的推理部署方案，核心是作者自己改的 TensorFold 引擎分支，用 2.9bpw 量化加双机张量并行，实测解码速度约为标准 vLLM 部署的 2.1-2.3 倍：散文 57 tok/s、代码 92 tok/s，32K 长提示的预填充速度约 2,200 tok/s，还把上下文窗口拉到 1M token 并通过了百万级大海捞针测试。它面向需要长上下文和低延迟的场景，比如让 Agent 高频调用工具、对同一份长文档反复追问（前缀缓存让第二次提问的首字延迟从 13 秒降到 1 秒），支持强制工具调用、结构化输出和 4 路并发。适合手里有 DGX Spark 硬件、正在为本地大模型部署做性能选型的推理工程师和基础设施负责人参考；README 也注明完整硬件验证尚在进行中。如果你不打算在双机 GB10 上部署 DeepSeek，这个项目和多数人关系不大。

FlashAlign 是一个给大模型做「按需对齐」的工具，核心能力是 abliteration——也就是把模型的拒绝倾向削弱，让它更少说「我不能做这个」。它最实用的地方在于不用永久改权重：同一份模型权重，可以在不同请求上套用不同对齐档案，比如对已验证的用户和渠道放开限制，对其他请求保持原样，或者干脆全局开启。目前提供五个起步档案，覆盖 DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8-27B、Gemma 4 等模型，兼容 vLLM、SGLang、llama.cpp 等主流推理引擎，也能接进 Hermes、OpenClaw 或自建 harness。它解决的麻烦是：想让模型在特定场景少拒绝，又不想为此单独维护一份改过权重的模型副本，还得防止被滥用。适合在本地或私有环境跑推理服务、需要针对不同调用方差异化控制模型行为的算法和平台工程师；如果你只是调用 API 或做应用层开发，跟你的关系不大。

MAFDET 是一个本地 LLM 聊天工具，核心卖点是利用你打字的时间提前干活：你还在输入时，它就同步维护 KV cache 把消息读完，甚至让模型提前开始推理，按 Enter 时大部分工作已经完成。实测在 Qwen3-4B 上把回车后的等待从 12.2 秒压到 3.2 秒，14B 从 108 秒降到 47 秒，答案正确率不变；中途删改、粘贴都不影响结果的正确性。它面向普通消费级硬件，参考机型是 6GB 显存的 RTX 2060，也支持 Apple Silicon 和纯 CPU 运行，提供 GUI 和终端两种界面。适合经常在本地跑 Qwen3 等推理模型、又被 prefill 和思考阶段漫长等待折磨的开发者和研究者；如果你不玩本地大模型，这个项目和你关系不大。

这是一个让你在免费的 Google Colab 上跑起 249GB 大模型 DeepSeek-V4.1-Flash 的方案，本质是把量化后的模型通过 llama.cpp 起成一个 OpenAI 兼容的接口，任何支持自定义 base URL 的客户端都能直接连上用。它做了不少优化：把 MoE 层里最常用的专家常驻 GPU、其余放内存按需换入，再配合投机解码和一批 llama.cpp 补丁，实测能跑到每秒 100 多 token，支持 26 万 token 上下文和图片输入，还能输出独立的推理过程。每次启动会拼入一批 uncensored 张量，去掉模型的安全限制。适合想低成本自托管大模型做实验的个人开发者、AI 编程工具用户，或者需要一个无审查接口接进自己工作流的人；如果你只是调用官方 API，或者没有 Colab 订阅，那和你关系不大。

bootgpt 是一个把语言模型塞进硬盘主引导记录（MBR）的极客项目：开机后不加载任何操作系统，直接在 16 位实模式的 386 上跑一个 11.5 KB 的 int8 量化小模型，让它「做梦」出一段 Linux 启动日志——时间戳、PCI 设备、ACPI 事件，全是不存在的硬件。模型只有 8 字符上下文和一个隐藏层，输出质量约等于乱码版 dmesg，但字符级输出与 Python 模拟完全一致。整个推理引擎压缩在 510 字节的引导扇区里，权重和词表放在后续扇区，前向传播只用整数乘除完成。它属于 boot sector demoscene 的 sizecoding 传统，和 sectorllm 等项目一脉相承，只是走了「极致小而专」的路线。对多数从业者来说这更像行为艺术而非生产力工具，值得花两分钟看的是它展示的量化与整数推理技巧；真正会动手研究的是做底层推理、模型量化或对 demoscene 感兴趣的工程师。

SelfJev 是一个可自托管的「决策模型」，你可以把它理解成一个不开源、跑在自己 GPU 上的 Jev 替代品：给它一段文本和你定义好的问题，它不生成文字回答，而是直接输出带概率的结构化结论，比如「是否需要退款」的 yes 概率、「该转给哪个团队」的选项分布、「紧急程度」的量表位置，以及多标签话题勾选。底层是 Qwen3.5-4B 加 rank-64 LoRA，通过共享前缀树复用文档计算，一次读文档就能批量回答多个问题，官方基准上文本决策准确率 95.7%，与 Jev 的 97.2% 接近。典型场景包括客服消息意图路由与分单、AI 回复的事实性与合规审查、按政策判断文档中的资格与例外。适合需要在自有基础设施上做分类、审核、规则判定的后端与算法工程师，尤其是数据不能出内网、又不想为每次判断调用付费 API 的团队；如果你的工作与结构化决策无关，那基本用不上。