GitHub 热门

OpenBMB/ForgeKernel

推理部署 在 GitHub 打开 ↗

自我进化的 GPU kernel 优化 agent,逐代超越参考实现

Star272
24h 新增+8
7 天新增—
Fork35
Issue5
语言Python

项目介绍

更新于 1 天前

ForgeKernel 是一个能自我进化的 GPU kernel 优化 agent:它先运行、计时并 profile 一个参考 kernel,把它的架构拆解成一份分阶段的优化任务清单,交给编码 agent 逐步实现,每产出一个被验证更优的 kernel,就顶替参考成为下一轮的起点,直到硬件上榨不出更多性能为止。过程中由 GPU 探针实测确认的硬件特性会沉淀成跨算子共享的知识库。论文里在 Hopper 和 Blackwell 上测试 27 个算子,22 个专家库 kernel(FlashAttention-4、cuDNN、DeepGEMM 等)中有 18 个被追平或超越,最高提升 170.6%,还在 NVIDIA 和华为 CANN 的多个 benchmark 榜单上拿到第一。适合关注算子性能、推理加速的 GPU kernel 工程师和推理框架开发者,以及想用 Agent 做自动优化的研究者;做业务应用或模型调优的人关系不大。

上手成本:中

Star 趋势

记录 7 个数据点 · 期间增长 +40

仓库信息

LicenseApache-2.0
创建时间2026-10-30
最后推送21 小时前
热度分31.0