GitHub 热门

rockmatrix-ai/EdgeRock

推理部署 在 GitHub 打开 ↗

固定显存的多模态推理模型,长上下文不涨 KV cache

Star995
24h 新增+39
7 天新增—
Fork13
Issue0
语言Python

项目介绍

更新于 1 天前

EdgeRock 是 Rock Matrix 推出的固定内存多模态模型系列,首个开源版本 EdgeRock-4B 能理解文本和图像,用于推理、编码和 Agent 任务。它解决的是长上下文推理时显存不断膨胀的问题:常规模型的 KV cache 随上下文线性增长,而 EdgeRock 用循环状态概括历史、局部注意力处理近期信息、再配合 Rock Memory Anchors 保留关键细节,让每条序列的注意力 KV 固定在 72 MiB,比同级的 Qwen3.5-4B 少 99.1%,省下的显存可以用来跑更多并发请求,输出吞吐达到其 6.42 倍。数学推理上它在 AIME 上拿到 82.9% 的平均 pass@1,远超同类有界状态基线。值得看的是做推理服务、Agent 基础设施和端侧部署的工程师,尤其是被长会话、长任务的显存成本卡住的人;如果你不涉及模型部署和推理优化,跟你的关系不大。

上手成本:中

Star 趋势

记录 7 个数据点 · 期间增长 +39

仓库信息

LicenseApache-2.0
创建时间2026-10-07
最后推送12 天前
热度分119.0