GitHub 热门
共 1 个项目 · 第 1 / 1 页
T-Crypt / berth 推理部署 Go
让本机多个 AI 引擎和应用排队轮流使用同一块 GPU
Berth 是一个用 Go 写的轻量级 GPU 资源调度器,可以理解为给你的显卡加了一个「排队叫号系统」:本机上跑的各类程序不再直接抢占显存,而是向它申请租约、轮流使用。它管的不只是自己启动的模型服务,还包括 ComfyUI、Ollama、vLLM、llama-swap 里的模型、游戏乃至任何占着显存的进程——如果发现有没申请租约的进程占着显存,它会报出 PID 和占用量,省去你翻 nvidia-smi 排查的时间。典型场景是本地跑大模型的工作站:你一边用 ComfyUI 出图,一边想让 llama-server 回答问题,以前两者同时加载模型会直接 OOM 崩掉,现在后到的请求会按优先级排队,等前者跑完当前任务再交接,还能把模型暂存到内存里加快切换。适合自建本地 AI 环境的开发者、算法工程师,以及在一台机器上同时跑推理、绘图和游戏的人;如果你只用云端 API 或单卡单任务,关系不大。项目目前处于 alpha 阶段。
★ 287 24h +3 ⑂ 31 创建 24 天前 更新 1 天前