UnbiasedStrata 是 Strata/PolyStrata 的极简分支，定位类似 suckless 社区的 dwm：去掉安装器、构建期下载和 Python 中间层，只保留两个推理引擎和一个 C++ 前端。它在 Linux + NVIDIA 单卡上一次 make 即可产出引擎与 unbiased-strata 服务程序，对外提供 OpenAI 风格的 /v1/chat/completions 接口（支持流式），底层复用 llama.cpp 的 server 代码，一次只处理一个请求，适合完全离线的机器。实际能力上，它能跑 Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash 等 GGUF 模型，支持投机解码、KV 量化、多模态图片编码等选项，README 称已在 Bob-bench 上验证过分数。适合需要在内网或无网环境单机部署本地大模型、又不想引入 Python 依赖链的推理工程师和运维；只想调用云端 API 的人基本用不上。

Berth 是一个用 Go 写的轻量级 GPU 资源调度器，可以理解为给你的显卡加了一个「排队叫号系统」：本机上跑的各类程序不再直接抢占显存，而是向它申请租约、轮流使用。它管的不只是自己启动的模型服务，还包括 ComfyUI、Ollama、vLLM、llama-swap 里的模型、游戏乃至任何占着显存的进程——如果发现有没申请租约的进程占着显存，它会报出 PID 和占用量，省去你翻 nvidia-smi 排查的时间。典型场景是本地跑大模型的工作站：你一边用 ComfyUI 出图，一边想让 llama-server 回答问题，以前两者同时加载模型会直接 OOM 崩掉，现在后到的请求会按优先级排队，等前者跑完当前任务再交接，还能把模型暂存到内存里加快切换。适合自建本地 AI 环境的开发者、算法工程师，以及在一台机器上同时跑推理、绘图和游戏的人；如果你只用云端 API 或单卡单任务，关系不大。项目目前处于 alpha 阶段。

MAFDET 是一个本地 LLM 聊天工具，核心卖点是利用你打字的时间提前干活：你还在输入时，它就同步维护 KV cache 把消息读完，甚至让模型提前开始推理，按 Enter 时大部分工作已经完成。实测在 Qwen3-4B 上把回车后的等待从 12.2 秒压到 3.2 秒，14B 从 108 秒降到 47 秒，答案正确率不变；中途删改、粘贴都不影响结果的正确性。它面向普通消费级硬件，参考机型是 6GB 显存的 RTX 2060，也支持 Apple Silicon 和纯 CPU 运行，提供 GUI 和终端两种界面。适合经常在本地跑 Qwen3 等推理模型、又被 prefill 和思考阶段漫长等待折磨的开发者和研究者；如果你不玩本地大模型，这个项目和你关系不大。

Strata Manager 是本地 LLM 推理引擎 Strata 的桌面管理工具，可以把它理解成本地模型版的「控制面板」：引导首次安装、一键下载和切换模型、管理服务启停，还能在图形界面里直接聊天、查看 API 调用统计和硬件占用情况。它解决的麻烦是，原本要在命令行里折腾的引擎安装、版本升级、参数调优和性能测试，现在都收进一个工作区，新引擎还会先试运行、失败自动回滚，不会把现有环境搞坏。另外它内置了可选的公开排行榜，方便对比不同模型的推理表现。适合在自己电脑上跑本地模型的开发者、算法工程师，以及想给团队搭一套可控本地推理服务的运维人员；如果你只用云端 API、从不碰本地部署，这个项目和你关系不大。

这是一个让你在免费的 Google Colab 上跑起 249GB 大模型 DeepSeek-V4.1-Flash 的方案，本质是把量化后的模型通过 llama.cpp 起成一个 OpenAI 兼容的接口，任何支持自定义 base URL 的客户端都能直接连上用。它做了不少优化：把 MoE 层里最常用的专家常驻 GPU、其余放内存按需换入，再配合投机解码和一批 llama.cpp 补丁，实测能跑到每秒 100 多 token，支持 26 万 token 上下文和图片输入，还能输出独立的推理过程。每次启动会拼入一批 uncensored 张量，去掉模型的安全限制。适合想低成本自托管大模型做实验的个人开发者、AI 编程工具用户，或者需要一个无审查接口接进自己工作流的人；如果你只是调用官方 API，或者没有 Colab 订阅，那和你关系不大。

bootgpt 是一个把语言模型塞进硬盘主引导记录（MBR）的极客项目：开机后不加载任何操作系统，直接在 16 位实模式的 386 上跑一个 11.5 KB 的 int8 量化小模型，让它「做梦」出一段 Linux 启动日志——时间戳、PCI 设备、ACPI 事件，全是不存在的硬件。模型只有 8 字符上下文和一个隐藏层，输出质量约等于乱码版 dmesg，但字符级输出与 Python 模拟完全一致。整个推理引擎压缩在 510 字节的引导扇区里，权重和词表放在后续扇区，前向传播只用整数乘除完成。它属于 boot sector demoscene 的 sizecoding 传统，和 sectorllm 等项目一脉相承，只是走了「极致小而专」的路线。对多数从业者来说这更像行为艺术而非生产力工具，值得花两分钟看的是它展示的量化与整数推理技巧；真正会动手研究的是做底层推理、模型量化或对 demoscene 感兴趣的工程师。

这是一个用 CUDA 手写的 persistent megakernel 复现项目：只启动一次 GPU kernel，里面的 block 永不退出，从 GPU 上的任务队列里不断领取工作，同时完成三件事——训练一个 162M 参数的 GPT、用还在训练中的权重实时推理出文本、以及在 GPU 上以 35 fps 跑真正的 Doom 引擎。它复现的是 Flapping Airplanes 那段著名演示视频，代码全部从零写成，所有数字都有结果文件可查。实测在 B200 上按 116/24/8 的 SM 划分并行三任务，训练 4000 步约 48 秒，推理约 1660 tok/s；对比显示纯训练它打不过 Megatron + CUDA graphs，但两个进程共享 GPU 时会慢 40% 以上，而 megakernel 的优势正是三件事同时跑。适合做 GPU kernel、推理引擎或对算力调度感兴趣的工程师，以及想了解 megakernel 这种极端优化思路的人；普通 AI 应用开发者关系不大。