GitHub 热门
共 1 个项目 · 第 1 / 1 页
l-wn / ClusterChat 推理部署 JavaScript
浏览器里把多人显卡拼成一块跑 27B 模型的聊天工具
ClusterChat 是一个纯浏览器运行的分布式推理聊天工具,思路类似 Petals 或 exo,但把模型切分的对象换成了你和朋友各自机器上的显卡:通过 WebRTC 把多台电脑的 GPU 拼成一块,共同跑起一个 27B 的 Qwen 模型,全程零安装,打开链接即可用。它解决的痛点很具体——27B 模型约需 27GB 显存,单人往往不够,但一个实验室、俱乐部或朋友圈凑一凑通常有,于是每个人都能在自己的聊天窗口里同时对话,最多支持 64 人、多条回复并行生成;中途有人退出也不会中断,因为每段模型权重都有多个浏览器持有,丢失的工作会自动在别处重放。实测两块 RTX 3090 上 12 人同时聊天仍能保持每条回复 7.1 tok/s,跨两台机器也有 8.1 tok/s。值得看的是那些手里有闲置显卡、想和同事朋友共享一个大模型的研究者、学生团队或极客玩家;如果你没有多卡环境,这项目跟多数人关系不大。
★ 53 24h +3 ⑂ 4 创建 26 天前 更新 9 小时前