固定显存的多模态推理模型,长上下文不涨 KV cache
Star995
24h 新增+39
7 天新增—
Fork13
Issue0
语言Python
项目介绍
更新于 1 天前
EdgeRock 是 Rock Matrix 推出的固定内存多模态模型系列,首个开源版本 EdgeRock-4B 能理解文本和图像,用于推理、编码和 Agent 任务。它解决的是长上下文推理时显存不断膨胀的问题:常规模型的 KV cache 随上下文线性增长,而 EdgeRock 用循环状态概括历史、局部注意力处理近期信息、再配合 Rock Memory Anchors 保留关键细节,让每条序列的注意力 KV 固定在 72 MiB,比同级的 Qwen3.5-4B 少 99.1%,省下的显存可以用来跑更多并发请求,输出吞吐达到其 6.42 倍。数学推理上它在 AIME 上拿到 82.9% 的平均 pass@1,远超同类有界状态基线。值得看的是做推理服务、Agent 基础设施和端侧部署的工程师,尤其是被长会话、长任务的显存成本卡住的人;如果你不涉及模型部署和推理优化,跟你的关系不大。
上手成本:中
Star 趋势
仓库信息
| License | Apache-2.0 |
| 创建时间 | 2026-10-07 |
| 最后推送 | 12 天前 |
| 热度分 | 119.0 |