shanselman/gputaskman

gputaskman 是一个终端里的 GPU 任务管理器，可以理解为给显存用的 htop：系统任务管理器只会告诉你「已用 15 GB」，它则进一步拆解这些显存到底被谁占了——是模型权重、KV cache、浏览器还是桌面合成器，甚至解释为什么一部分 GPU 内存被挤到了系统内存里。它以终端 UI 呈现每个进程的显存占用和引擎活动，并关联到已加载的运行时、模型文件和 LLM 缓冲区构成，覆盖本地的 LLM 推理、训练微调（含 Unsloth）、视觉、语音、图形和视频等负载，支持 Windows 上的 NVIDIA/AMD、Linux 与 WSL 上的 NVIDIA，以及 Apple Silicon 的 macOS。适合在本地跑模型的 AI 工程师和算法工程师：当你发现显存莫名吃紧、想排查是哪个模型或哪个进程在偷显存时，它比任务管理器有用得多；只用云服务或纯 CPU 的人则基本用不上。注意项目尚处早期实验阶段，模型识别和 GGUF 缓冲区拆分属于估算而非精确测量。

Star 趋势

仓库信息