Berth 是一个用 Go 写的轻量级 GPU 资源调度器，可以理解为给你的显卡加了一个「排队叫号系统」：本机上跑的各类程序不再直接抢占显存，而是向它申请租约、轮流使用。它管的不只是自己启动的模型服务，还包括 ComfyUI、Ollama、vLLM、llama-swap 里的模型、游戏乃至任何占着显存的进程——如果发现有没申请租约的进程占着显存，它会报出 PID 和占用量，省去你翻 nvidia-smi 排查的时间。典型场景是本地跑大模型的工作站：你一边用 ComfyUI 出图，一边想让 llama-server 回答问题，以前两者同时加载模型会直接 OOM 崩掉，现在后到的请求会按优先级排队，等前者跑完当前任务再交接，还能把模型暂存到内存里加快切换。适合自建本地 AI 环境的开发者、算法工程师，以及在一台机器上同时跑推理、绘图和游戏的人；如果你只用云端 API 或单卡单任务，关系不大。项目目前处于 alpha 阶段。

这是一份俄语编写的 DeepSeek 本地部署完整教程，覆盖从个人电脑到服务器的全流程：用 Ollama、llama.cpp、LM Studio 跑 R1 蒸馏版（1.5B–70B），用 vLLM 或 SGLang 部署 V4 系列大模型，再接上 Open WebUI 做类 ChatGPT 的聊天界面、Python API 接 IDE 写代码，以及 RAG、Agent、微调等进阶玩法。它还包含硬件显存估算、量化选型、常见报错排查和 30 条实用技巧，相当于把「本地跑大模型」这件事的踩坑清单一次性整理好了。适合想在内网或离线环境用 DeepSeek 的后端、算法工程师，以及需要私有化 AI 能力的团队参考；如果你只用云端 API、不关心数据不出机房，那和你关系不大。注意全文为俄语，且部分模型信息（如 V4.1-Flash）来自 2026 年时间线，阅读时需自行核对时效。

MAFDET 是一个本地 LLM 聊天工具，核心卖点是利用你打字的时间提前干活：你还在输入时，它就同步维护 KV cache 把消息读完，甚至让模型提前开始推理，按 Enter 时大部分工作已经完成。实测在 Qwen3-4B 上把回车后的等待从 12.2 秒压到 3.2 秒，14B 从 108 秒降到 47 秒，答案正确率不变；中途删改、粘贴都不影响结果的正确性。它面向普通消费级硬件，参考机型是 6GB 显存的 RTX 2060，也支持 Apple Silicon 和纯 CPU 运行，提供 GUI 和终端两种界面。适合经常在本地跑 Qwen3 等推理模型、又被 prefill 和思考阶段漫长等待折磨的开发者和研究者；如果你不玩本地大模型，这个项目和你关系不大。

Strata Manager 是本地 LLM 推理引擎 Strata 的桌面管理工具，可以把它理解成本地模型版的「控制面板」：引导首次安装、一键下载和切换模型、管理服务启停，还能在图形界面里直接聊天、查看 API 调用统计和硬件占用情况。它解决的麻烦是，原本要在命令行里折腾的引擎安装、版本升级、参数调优和性能测试，现在都收进一个工作区，新引擎还会先试运行、失败自动回滚，不会把现有环境搞坏。另外它内置了可选的公开排行榜，方便对比不同模型的推理表现。适合在自己电脑上跑本地模型的开发者、算法工程师，以及想给团队搭一套可控本地推理服务的运维人员；如果你只用云端 API、从不碰本地部署，这个项目和你关系不大。

这是一个让你在免费的 Google Colab 上跑起 249GB 大模型 DeepSeek-V4.1-Flash 的方案，本质是把量化后的模型通过 llama.cpp 起成一个 OpenAI 兼容的接口，任何支持自定义 base URL 的客户端都能直接连上用。它做了不少优化：把 MoE 层里最常用的专家常驻 GPU、其余放内存按需换入，再配合投机解码和一批 llama.cpp 补丁，实测能跑到每秒 100 多 token，支持 26 万 token 上下文和图片输入，还能输出独立的推理过程。每次启动会拼入一批 uncensored 张量，去掉模型的安全限制。适合想低成本自托管大模型做实验的个人开发者、AI 编程工具用户，或者需要一个无审查接口接进自己工作流的人；如果你只是调用官方 API，或者没有 Colab 订阅，那和你关系不大。

bootgpt 是一个把语言模型塞进硬盘主引导记录（MBR）的极客项目：开机后不加载任何操作系统，直接在 16 位实模式的 386 上跑一个 11.5 KB 的 int8 量化小模型，让它「做梦」出一段 Linux 启动日志——时间戳、PCI 设备、ACPI 事件，全是不存在的硬件。模型只有 8 字符上下文和一个隐藏层，输出质量约等于乱码版 dmesg，但字符级输出与 Python 模拟完全一致。整个推理引擎压缩在 510 字节的引导扇区里，权重和词表放在后续扇区，前向传播只用整数乘除完成。它属于 boot sector demoscene 的 sizecoding 传统，和 sectorllm 等项目一脉相承，只是走了「极致小而专」的路线。对多数从业者来说这更像行为艺术而非生产力工具，值得花两分钟看的是它展示的量化与整数推理技巧；真正会动手研究的是做底层推理、模型量化或对 demoscene 感兴趣的工程师。

这是一个 llama.cpp 的 fork，作用是在推理时实时移除模型的拒绝倾向，让被安全对齐的开源模型直接回答那些通常会被拒答的问题，而磁盘上的模型权重完全不动，也不需要任何训练或额外文件。它的做法是针对每条 prompt 现场读出「顺从」和「拒绝」两个激活方向，用一个前置判断决定是否执行投影编辑，良性 prompt 则完全不受影响，输出与原模型逐位一致。README 称在 Qwen3-8B 上把有害 prompt 的拒答率从 96.3% 压到 7.9%，同一套方法也适用于 Llama-3.1-8B、Gemma 等 131 种架构，无需逐模型调参。对多数从业者来说这和日常工作关系不大，但如果你在做模型安全评估、红队测试、越狱攻击研究，或者想搞清楚对齐机制在激活层到底怎么起作用，它是个能快速做对照实验的工具；普通业务场景请谨慎对待其用途。

这是一个把约3000万参数的decoder-only Transformer语言模型塞进ESP32-S3单片机里离线跑的个人实验项目，模型从零训练，权重和分词器已随仓库提供，不需要联网也不需要API key。它在XIAO ESP32-S3加圆形触摸屏上提供触屏键盘聊天界面，在DevKit上则通过USB对话，能回几句简单寒暄，比如问how are you会答I'm doing okay。但能力非常有限：上下文只有64个token，一次最多生成24个token，速度慢到每秒不到1.5个词，回答容易重复跑题，连基本算术都不可靠，作者自己也标明这是能力受限的个人实验。对多数互联网和AI从业者来说它没有实用价值，值得看的主要是做嵌入式AI、端侧推理或对Transformer在极低算力设备上如何量化部署感兴趣的人，以及想了解LLM从训练到固件落地全流程的硬件爱好者。

这是一个用 CUDA 手写的 persistent megakernel 复现项目：只启动一次 GPU kernel，里面的 block 永不退出，从 GPU 上的任务队列里不断领取工作，同时完成三件事——训练一个 162M 参数的 GPT、用还在训练中的权重实时推理出文本、以及在 GPU 上以 35 fps 跑真正的 Doom 引擎。它复现的是 Flapping Airplanes 那段著名演示视频，代码全部从零写成，所有数字都有结果文件可查。实测在 B200 上按 116/24/8 的 SM 划分并行三任务，训练 4000 步约 48 秒，推理约 1660 tok/s；对比显示纯训练它打不过 Megatron + CUDA graphs，但两个进程共享 GPU 时会慢 40% 以上，而 megakernel 的优势正是三件事同时跑。适合做 GPU kernel、推理引擎或对算力调度感兴趣的工程师，以及想了解 megakernel 这种极端优化思路的人；普通 AI 应用开发者关系不大。

构屎 GOUJI 是一个纯 C++/CUDA 写的微型模型项目，主打 2 bit 三值权重（-1/0/+1）、零 Python 依赖，目前的实际定位是一个设备端的命令路由层：把「读一下那个日志」这类自然语言意图分类成 read_file 等具体工具调用，支持 9 个基础工具，靠联想记忆实现零训练参数的写入——教一句新说法 23 微秒生效，不用梯度下降。实测在 8 GB 笔记本 GPU 上检索延迟 0.22 ms，留出集路由准确率 100%，三值量化比 int4 快约 1.9 倍。它明确不聊天、不推理、不写代码，语料外的动词会直接拒答。值得看的是对端侧推理、低比特量化、非 Transformer 路线感兴趣的研究者和 C++ 工程师，以及想了解「用检索加规则替代大权重」这一思路的人；只想找可用聊天模型或生产级 Agent 框架的读者可以跳过。

SelfJev 是一个可自托管的「决策模型」，你可以把它理解成一个不开源、跑在自己 GPU 上的 Jev 替代品：给它一段文本和你定义好的问题，它不生成文字回答，而是直接输出带概率的结构化结论，比如「是否需要退款」的 yes 概率、「该转给哪个团队」的选项分布、「紧急程度」的量表位置，以及多标签话题勾选。底层是 Qwen3.5-4B 加 rank-64 LoRA，通过共享前缀树复用文档计算，一次读文档就能批量回答多个问题，官方基准上文本决策准确率 95.7%，与 Jev 的 97.2% 接近。典型场景包括客服消息意图路由与分单、AI 回复的事实性与合规审查、按政策判断文档中的资格与例外。适合需要在自有基础设施上做分类、审核、规则判定的后端与算法工程师，尤其是数据不能出内网、又不想为每次判断调用付费 API 的团队；如果你的工作与结构化决策无关，那基本用不上。