Berth 是一个用 Go 写的轻量级 GPU 资源调度器，可以理解为给你的显卡加了一个「排队叫号系统」：本机上跑的各类程序不再直接抢占显存，而是向它申请租约、轮流使用。它管的不只是自己启动的模型服务，还包括 ComfyUI、Ollama、vLLM、llama-swap 里的模型、游戏乃至任何占着显存的进程——如果发现有没申请租约的进程占着显存，它会报出 PID 和占用量，省去你翻 nvidia-smi 排查的时间。典型场景是本地跑大模型的工作站：你一边用 ComfyUI 出图，一边想让 llama-server 回答问题，以前两者同时加载模型会直接 OOM 崩掉，现在后到的请求会按优先级排队，等前者跑完当前任务再交接，还能把模型暂存到内存里加快切换。适合自建本地 AI 环境的开发者、算法工程师，以及在一台机器上同时跑推理、绘图和游戏的人；如果你只用云端 API 或单卡单任务，关系不大。项目目前处于 alpha 阶段。

这是一个 llama.cpp 的 fork，作用是在推理时实时移除模型的拒绝倾向，让被安全对齐的开源模型直接回答那些通常会被拒答的问题，而磁盘上的模型权重完全不动，也不需要任何训练或额外文件。它的做法是针对每条 prompt 现场读出「顺从」和「拒绝」两个激活方向，用一个前置判断决定是否执行投影编辑，良性 prompt 则完全不受影响，输出与原模型逐位一致。README 称在 Qwen3-8B 上把有害 prompt 的拒答率从 96.3% 压到 7.9%，同一套方法也适用于 Llama-3.1-8B、Gemma 等 131 种架构，无需逐模型调参。对多数从业者来说这和日常工作关系不大，但如果你在做模型安全评估、红队测试、越狱攻击研究，或者想搞清楚对齐机制在激活层到底怎么起作用，它是个能快速做对照实验的工具；普通业务场景请谨慎对待其用途。

这是一份俄语编写的 DeepSeek 本地部署完整教程，覆盖从个人电脑到服务器的全流程：用 Ollama、llama.cpp、LM Studio 跑 R1 蒸馏版（1.5B–70B），用 vLLM 或 SGLang 部署 V4 系列大模型，再接上 Open WebUI 做类 ChatGPT 的聊天界面、Python API 接 IDE 写代码，以及 RAG、Agent、微调等进阶玩法。它还包含硬件显存估算、量化选型、常见报错排查和 30 条实用技巧，相当于把「本地跑大模型」这件事的踩坑清单一次性整理好了。适合想在内网或离线环境用 DeepSeek 的后端、算法工程师，以及需要私有化 AI 能力的团队参考；如果你只用云端 API、不关心数据不出机房，那和你关系不大。注意全文为俄语，且部分模型信息（如 V4.1-Flash）来自 2026 年时间线，阅读时需自行核对时效。

这是一个让你在免费的 Google Colab 上跑起 249GB 大模型 DeepSeek-V4.1-Flash 的方案，本质是把量化后的模型通过 llama.cpp 起成一个 OpenAI 兼容的接口，任何支持自定义 base URL 的客户端都能直接连上用。它做了不少优化：把 MoE 层里最常用的专家常驻 GPU、其余放内存按需换入，再配合投机解码和一批 llama.cpp 补丁，实测能跑到每秒 100 多 token，支持 26 万 token 上下文和图片输入，还能输出独立的推理过程。每次启动会拼入一批 uncensored 张量，去掉模型的安全限制。适合想低成本自托管大模型做实验的个人开发者、AI 编程工具用户，或者需要一个无审查接口接进自己工作流的人；如果你只是调用官方 API，或者没有 Colab 订阅，那和你关系不大。

UnbiasedStrata 是 Strata/PolyStrata 的极简分支，定位类似 suckless 社区的 dwm：去掉安装器、构建期下载和 Python 中间层，只保留两个推理引擎和一个 C++ 前端。它在 Linux + NVIDIA 单卡上一次 make 即可产出引擎与 unbiased-strata 服务程序，对外提供 OpenAI 风格的 /v1/chat/completions 接口（支持流式），底层复用 llama.cpp 的 server 代码，一次只处理一个请求，适合完全离线的机器。实际能力上，它能跑 Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash 等 GGUF 模型，支持投机解码、KV 量化、多模态图片编码等选项，README 称已在 Bob-bench 上验证过分数。适合需要在内网或无网环境单机部署本地大模型、又不想引入 Python 依赖链的推理工程师和运维；只想调用云端 API 的人基本用不上。

Kindi 是一个专为低端显卡和 CPU 打造的 LLM 推理引擎，可以理解为 llama.cpp 的「老硬件特化版」。它主打让 1 GB 显存的古董 Quadro K420、GTX 1080、RTX 3080、AMD Radeon 780M 核显乃至纯 CPU 都能跑起 Prism ML 的 Ternary-Bonsai-2 系列三值权重模型（2B 到 27B），也实验性支持 Nemotron 3.5 Bolt E4B，并提供 OpenAI 兼容的服务接口，可直接接入各类聊天客户端、脚本和 AI 编程 Agent。它的实际价值在于榨干被遗忘的硬件：在 K420 上比 llama.cpp 快约 13 倍，CPU 上也快 1.6 到 2.7 倍，prompt cache 对多轮 Agent 场景的提速尤其明显（同一份 9,400 token 文档的第三个问题，0.42 秒对 3.10 秒），且默认输出与 llama.cpp 逐 token 一致。适合手里有闲置旧显卡、想在本地低成本跑小模型做实验的算法和平台工程师；如果你只用云端大模型或高端显卡，这项目和你关系不大。

PROMETHEVS 是一个本地大模型推理引擎，主打「用消费级电脑跑超大模型」：它通过 compress-then-correct 方法，让一台 64GB 内存、12GB 显存的普通游戏 PC 也能跑起 510GB 的 DeepSeek-V4.1-Flash-1017 全量权重。具体做法是先用 2-bit 压缩副本快速算每个词，当模型对前两个候选词把握接近时，再用原始权重重算该词，从而兼顾速度与全量模型质量——实测输出与全量模型逐词一致率达 98.3%，代码场景最高 7.4 tokens/s，比同机精确解码快 3 倍多。它提供 OpenAI 兼容的本地端点，支持流式输出和工具调用，任何走 OpenAI API 的应用或 coding agent 都能直接接入，且数据完全留在本地。适合想在自己机器上私有化部署大模型、又没有多卡服务器的 AI 工程师、独立开发者和注重隐私的重度用户；如果你只用云端 API 或公司已有 GPU 集群，这个项目和你关系不大。

构屎 GOUJI 是一个纯 C++/CUDA 写的微型模型项目，主打 2 bit 三值权重（-1/0/+1）、零 Python 依赖，目前的实际定位是一个设备端的命令路由层：把「读一下那个日志」这类自然语言意图分类成 read_file 等具体工具调用，支持 9 个基础工具，靠联想记忆实现零训练参数的写入——教一句新说法 23 微秒生效，不用梯度下降。实测在 8 GB 笔记本 GPU 上检索延迟 0.22 ms，留出集路由准确率 100%，三值量化比 int4 快约 1.9 倍。它明确不聊天、不推理、不写代码，语料外的动词会直接拒答。值得看的是对端侧推理、低比特量化、非 Transformer 路线感兴趣的研究者和 C++ 工程师，以及想了解「用检索加规则替代大权重」这一思路的人；只想找可用聊天模型或生产级 Agent 框架的读者可以跳过。

MAFDET 是一个本地 LLM 聊天工具，核心卖点是利用你打字的时间提前干活：你还在输入时，它就同步维护 KV cache 把消息读完，甚至让模型提前开始推理，按 Enter 时大部分工作已经完成。实测在 Qwen3-4B 上把回车后的等待从 12.2 秒压到 3.2 秒，14B 从 108 秒降到 47 秒，答案正确率不变；中途删改、粘贴都不影响结果的正确性。它面向普通消费级硬件，参考机型是 6GB 显存的 RTX 2060，也支持 Apple Silicon 和纯 CPU 运行，提供 GUI 和终端两种界面。适合经常在本地跑 Qwen3 等推理模型、又被 prefill 和思考阶段漫长等待折磨的开发者和研究者；如果你不玩本地大模型，这个项目和你关系不大。

这是一个把约3000万参数的decoder-only Transformer语言模型塞进ESP32-S3单片机里离线跑的个人实验项目，模型从零训练，权重和分词器已随仓库提供，不需要联网也不需要API key。它在XIAO ESP32-S3加圆形触摸屏上提供触屏键盘聊天界面，在DevKit上则通过USB对话，能回几句简单寒暄，比如问how are you会答I'm doing okay。但能力非常有限：上下文只有64个token，一次最多生成24个token，速度慢到每秒不到1.5个词，回答容易重复跑题，连基本算术都不可靠，作者自己也标明这是能力受限的个人实验。对多数互联网和AI从业者来说它没有实用价值，值得看的主要是做嵌入式AI、端侧推理或对Transformer在极低算力设备上如何量化部署感兴趣的人，以及想了解LLM从训练到固件落地全流程的硬件爱好者。

这是一个把 DeepSeek-V4.1-Flash 模型跑在两台 NVIDIA DGX Spark（GB10）上的推理部署方案，核心是作者自己改的 TensorFold 引擎分支，用 2.9bpw 量化加双机张量并行，实测解码速度约为标准 vLLM 部署的 2.1-2.3 倍：散文 57 tok/s、代码 92 tok/s，32K 长提示的预填充速度约 2,200 tok/s，还把上下文窗口拉到 1M token 并通过了百万级大海捞针测试。它面向需要长上下文和低延迟的场景，比如让 Agent 高频调用工具、对同一份长文档反复追问（前缀缓存让第二次提问的首字延迟从 13 秒降到 1 秒），支持强制工具调用、结构化输出和 4 路并发。适合手里有 DGX Spark 硬件、正在为本地大模型部署做性能选型的推理工程师和基础设施负责人参考；README 也注明完整硬件验证尚在进行中。如果你不打算在双机 GB10 上部署 DeepSeek，这个项目和多数人关系不大。

SelfJev 是一个可自托管的「决策模型」，你可以把它理解成一个不开源、跑在自己 GPU 上的 Jev 替代品：给它一段文本和你定义好的问题，它不生成文字回答，而是直接输出带概率的结构化结论，比如「是否需要退款」的 yes 概率、「该转给哪个团队」的选项分布、「紧急程度」的量表位置，以及多标签话题勾选。底层是 Qwen3.5-4B 加 rank-64 LoRA，通过共享前缀树复用文档计算，一次读文档就能批量回答多个问题，官方基准上文本决策准确率 95.7%，与 Jev 的 97.2% 接近。典型场景包括客服消息意图路由与分单、AI 回复的事实性与合规审查、按政策判断文档中的资格与例外。适合需要在自有基础设施上做分类、审核、规则判定的后端与算法工程师，尤其是数据不能出内网、又不想为每次判断调用付费 API 的团队；如果你的工作与结构化决策无关，那基本用不上。

ClusterChat 是一个纯浏览器运行的分布式推理聊天工具，思路类似 Petals 或 exo，但把模型切分的对象换成了你和朋友各自机器上的显卡：通过 WebRTC 把多台电脑的 GPU 拼成一块，共同跑起一个 27B 的 Qwen 模型，全程零安装，打开链接即可用。它解决的痛点很具体——27B 模型约需 27GB 显存，单人往往不够，但一个实验室、俱乐部或朋友圈凑一凑通常有，于是每个人都能在自己的聊天窗口里同时对话，最多支持 64 人、多条回复并行生成；中途有人退出也不会中断，因为每段模型权重都有多个浏览器持有，丢失的工作会自动在别处重放。实测两块 RTX 3090 上 12 人同时聊天仍能保持每条回复 7.1 tok/s，跨两台机器也有 8.1 tok/s。值得看的是那些手里有闲置显卡、想和同事朋友共享一个大模型的研究者、学生团队或极客玩家；如果你没有多卡环境，这项目跟多数人关系不大。

Strata Manager 是本地 LLM 推理引擎 Strata 的桌面管理工具，可以把它理解成本地模型版的「控制面板」：引导首次安装、一键下载和切换模型、管理服务启停，还能在图形界面里直接聊天、查看 API 调用统计和硬件占用情况。它解决的麻烦是，原本要在命令行里折腾的引擎安装、版本升级、参数调优和性能测试，现在都收进一个工作区，新引擎还会先试运行、失败自动回滚，不会把现有环境搞坏。另外它内置了可选的公开排行榜，方便对比不同模型的推理表现。适合在自己电脑上跑本地模型的开发者、算法工程师，以及想给团队搭一套可控本地推理服务的运维人员；如果你只用云端 API、从不碰本地部署，这个项目和你关系不大。