l-wn/ClusterChat

ClusterChat 是一个纯浏览器运行的分布式推理聊天工具，思路类似 Petals 或 exo，但把模型切分的对象换成了你和朋友各自机器上的显卡：通过 WebRTC 把多台电脑的 GPU 拼成一块，共同跑起一个 27B 的 Qwen 模型，全程零安装，打开链接即可用。它解决的痛点很具体——27B 模型约需 27GB 显存，单人往往不够，但一个实验室、俱乐部或朋友圈凑一凑通常有，于是每个人都能在自己的聊天窗口里同时对话，最多支持 64 人、多条回复并行生成；中途有人退出也不会中断，因为每段模型权重都有多个浏览器持有，丢失的工作会自动在别处重放。实测两块 RTX 3090 上 12 人同时聊天仍能保持每条回复 7.1 tok/s，跨两台机器也有 8.1 tok/s。值得看的是那些手里有闲置显卡、想和同事朋友共享一个大模型的研究者、学生团队或极客玩家；如果你没有多卡环境，这项目跟多数人关系不大。

Star 趋势

话题标签

仓库信息