Magnvs7/Promethevs

PROMETHEVS 是一个本地大模型推理引擎，主打「用消费级电脑跑超大模型」：它通过 compress-then-correct 方法，让一台 64GB 内存、12GB 显存的普通游戏 PC 也能跑起 510GB 的 DeepSeek-V4.1-Flash-1017 全量权重。具体做法是先用 2-bit 压缩副本快速算每个词，当模型对前两个候选词把握接近时，再用原始权重重算该词，从而兼顾速度与全量模型质量——实测输出与全量模型逐词一致率达 98.3%，代码场景最高 7.4 tokens/s，比同机精确解码快 3 倍多。它提供 OpenAI 兼容的本地端点，支持流式输出和工具调用，任何走 OpenAI API 的应用或 coding agent 都能直接接入，且数据完全留在本地。适合想在自己机器上私有化部署大模型、又没有多卡服务器的 AI 工程师、独立开发者和注重隐私的重度用户；如果你只用云端 API 或公司已有 GPU 集群，这个项目和你关系不大。

Star 趋势

话题标签

仓库信息