eagle-hq/EAGLE-4

EAGLE-4 是一套 LLM 推理加速方案，属于投机解码（speculative decoding）路线：先用一个小草稿模型快速猜出多个 token，再让目标大模型一次性校验，猜对就直接采纳，从而在不改变输出结果的前提下提速。它配套的 eagle-harness 会根据你实际的硬件、并发批量和负载自动决定猜测的深度和草稿树形状，不用手工调参。实测在 Qwen3.8-27B 上单请求最高 3.4 倍加速，并能接入 SGLang、vLLM、TokenSpeed 等主流推理引擎，高并发下也能保持收益。适合负责 LLM 服务部署和推理性能优化的工程师，尤其是需要在有限 GPU 上压低 token 成本、提升吞吐的团队；如果你不碰推理侧，这个项目和你关系不大。

Star 趋势

话题标签

仓库信息