Project Maya 是一套本地大模型推理引擎，让你在自己的显卡上跑 GLM-5.3-Flash、DeepSeek-V4.1-Flash-1017 和 MiniMax-M3.1-Flash 这几个几百 B 参数的 MoE 巨型模型，从一张卡到 16 张，NVIDIA 或 AMD、Linux 或 Windows 都行。它的核心思路是分层调度：把对话最常用的专家放在显存里，次常用的放内存，其余的放 NVMe SSD，边聊边换，并根据你的硬件自动调优，同时提供 OpenAI 和 Anthropic 兼容的 API，方便接入 coding agent。官方给出的实测是双 5090 加 4090 能到 149 tokens/s，单张 5090 也有 30+。适合想在本地或私有环境跑大模型、又不想把数据传出去的 AI 工程师、算法和 infra 岗位，尤其是需要给多个 agent 会话或小团队提供统一推理接口的场景；如果你平时只调用云端 API，和你关系不大。

这是一个用 CUDA 手写的 persistent megakernel 复现项目：只启动一次 GPU kernel，里面的 block 永不退出，从 GPU 上的任务队列里不断领取工作，同时完成三件事——训练一个 162M 参数的 GPT、用还在训练中的权重实时推理出文本、以及在 GPU 上以 35 fps 跑真正的 Doom 引擎。它复现的是 Flapping Airplanes 那段著名演示视频，代码全部从零写成，所有数字都有结果文件可查。实测在 B200 上按 116/24/8 的 SM 划分并行三任务，训练 4000 步约 48 秒，推理约 1660 tok/s；对比显示纯训练它打不过 Megatron + CUDA graphs，但两个进程共享 GPU 时会慢 40% 以上，而 megakernel 的优势正是三件事同时跑。适合做 GPU kernel、推理引擎或对算力调度感兴趣的工程师，以及想了解 megakernel 这种极端优化思路的人；普通 AI 应用开发者关系不大。