hongfaqiu/strata-manager

Strata Manager 是本地 LLM 推理引擎 Strata 的桌面管理工具，可以把它理解成本地模型版的「控制面板」：引导首次安装、一键下载和切换模型、管理服务启停，还能在图形界面里直接聊天、查看 API 调用统计和硬件占用情况。它解决的麻烦是，原本要在命令行里折腾的引擎安装、版本升级、参数调优和性能测试，现在都收进一个工作区，新引擎还会先试运行、失败自动回滚，不会把现有环境搞坏。另外它内置了可选的公开排行榜，方便对比不同模型的推理表现。适合在自己电脑上跑本地模型的开发者、算法工程师，以及想给团队搭一套可控本地推理服务的运维人员；如果你只用云端 API、从不碰本地部署，这个项目和你关系不大。

Star 趋势

话题标签

仓库信息