Ollama 是目前最主流的本地大模型运行工具，可以把它理解成「模型界的 Docker」：一条命令就能把 DeepSeek、Qwen、GLM、Gemma、Kimi、MiniMax 等开源模型拉到自己机器上跑起来，数据不出本地，同时提供统一的 REST API 和 Python、JS SDK，方便程序调用。它解决的麻烦很具体：想试一个新模型不用自己配 CUDA、拼推理框架，也不用把敏感数据发给云端 API；最近还打通了 Claude Code、Codex、Copilot CLI 等 AI 编程工具的接入，让这些工具直接用本地模型当后端。值得看的人包括想在内网或个人电脑上跑模型的算法和后端工程师、需要离线或隐私合规方案的团队，以及希望给编程助手换成本地免费模型的开发者；如果你只用云端 API、从不碰开源模型，那和你关系不大。

Berth 是一个用 Go 写的轻量级 GPU 资源调度器，可以理解为给你的显卡加了一个「排队叫号系统」：本机上跑的各类程序不再直接抢占显存，而是向它申请租约、轮流使用。它管的不只是自己启动的模型服务，还包括 ComfyUI、Ollama、vLLM、llama-swap 里的模型、游戏乃至任何占着显存的进程——如果发现有没申请租约的进程占着显存，它会报出 PID 和占用量，省去你翻 nvidia-smi 排查的时间。典型场景是本地跑大模型的工作站：你一边用 ComfyUI 出图，一边想让 llama-server 回答问题，以前两者同时加载模型会直接 OOM 崩掉，现在后到的请求会按优先级排队，等前者跑完当前任务再交接，还能把模型暂存到内存里加快切换。适合自建本地 AI 环境的开发者、算法工程师，以及在一台机器上同时跑推理、绘图和游戏的人；如果你只用云端 API 或单卡单任务，关系不大。项目目前处于 alpha 阶段。