leonxger/deepseek-colab

这是一个让你在免费的 Google Colab 上跑起 249GB 大模型 DeepSeek-V4.1-Flash 的方案，本质是把量化后的模型通过 llama.cpp 起成一个 OpenAI 兼容的接口，任何支持自定义 base URL 的客户端都能直接连上用。它做了不少优化：把 MoE 层里最常用的专家常驻 GPU、其余放内存按需换入，再配合投机解码和一批 llama.cpp 补丁，实测能跑到每秒 100 多 token，支持 26 万 token 上下文和图片输入，还能输出独立的推理过程。每次启动会拼入一批 uncensored 张量，去掉模型的安全限制。适合想低成本自托管大模型做实验的个人开发者、AI 编程工具用户，或者需要一个无审查接口接进自己工作流的人；如果你只是调用官方 API，或者没有 Colab 订阅，那和你关系不大。

Star 趋势

话题标签

仓库信息