StartLuxLabs/StartLux-Prism

StartLux-Prism 是 StartLux-Decision 系列决策模型的高性能推理引擎，可以理解成这类模型的专用 vLLM 替代品：它直接加载官方发布的 GGUF 量化文件，在 NVIDIA GPU 上提供服务，把每个问题拆解成对各个选项的校准概率，而不是只给一个文本答案。相比官方引擎，它在 H200 上延迟最高降低 5.3 倍，同时输出逐位一致——无论批量大小、GPU 数量还是是否命中前缀缓存，同一请求得到完全相同的概率，这对需要可复现结果的业务很关键。典型场景包括客服意图分类、结构化决策打分，比如一次请求对一段视频提出 24 个结构化问题，27B 模型 0.21 秒返回；4-bit 权重下 27B 还能在单张 32GB RTX 5090 上跑。适合需要部署 StartLux-Decision 模型做分类、决策或结构化输出的算法和推理平台工程师，尤其是对延迟敏感、要求结果可复现的线上服务；不涉及这类模型的读者关系不大。

Star 趋势

话题标签

仓库信息