robertkarl/UnbiasedStrata

UnbiasedStrata 是 Strata/PolyStrata 的极简分支，定位类似 suckless 社区的 dwm：去掉安装器、构建期下载和 Python 中间层，只保留两个推理引擎和一个 C++ 前端。它在 Linux + NVIDIA 单卡上一次 make 即可产出引擎与 unbiased-strata 服务程序，对外提供 OpenAI 风格的 /v1/chat/completions 接口（支持流式），底层复用 llama.cpp 的 server 代码，一次只处理一个请求，适合完全离线的机器。实际能力上，它能跑 Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash 等 GGUF 模型，支持投机解码、KV 量化、多模态图片编码等选项，README 称已在 Bob-bench 上验证过分数。适合需要在内网或无网环境单机部署本地大模型、又不想引入 Python 依赖链的推理工程师和运维；只想调用云端 API 的人基本用不上。

Star 趋势

话题标签

仓库信息