打字时就让本地 LLM 预读预推理，回车后等待大幅缩短
Star80
24h 新增+1
7 天新增—
Fork6
Issue1
语言Python
项目介绍
更新于 1 天前
MAFDET 是一个本地 LLM 聊天工具，核心卖点是利用你打字的时间提前干活：你还在输入时，它就同步维护 KV cache 把消息读完，甚至让模型提前开始推理，按 Enter 时大部分工作已经完成。实测在 Qwen3-4B 上把回车后的等待从 12.2 秒压到 3.2 秒，14B 从 108 秒降到 47 秒，答案正确率不变；中途删改、粘贴都不影响结果的正确性。它面向普通消费级硬件，参考机型是 6GB 显存的 RTX 2060，也支持 Apple Silicon 和纯 CPU 运行，提供 GUI 和终端两种界面。适合经常在本地跑 Qwen3 等推理模型、又被 prefill 和思考阶段漫长等待折磨的开发者和研究者；如果你不玩本地大模型，这个项目和你关系不大。
上手成本：中
Star 趋势
话题标签
deep-learningframeworklarge-language-modelsllm-inferencellm-toolslocal-ailocal-developmentmachine-learningresearch-projectresearch-tool
仓库信息
| License | Apache-2.0 |
| 创建时间 | 2026-10-21 |
| 最后推送 | 15 小时前 |
| 热度分 | 8.0 |