MUSE-AI-Lab/Concept-Brittleness

这是一个 ACM MM 2026 论文的配套代码，研究 text-to-image diffusion 模型的一个怪毛病：同一个风格概念（比如 ink sketch）在某些物体上反复失败——葡萄能变成墨线稿，蛋糕却怎么都是彩色的，换 seed 也没用。作者称之为 object-dependent concept brittleness，认为这是模型的系统性盲区而非采样噪声。他们的做法是在每个去噪步骤上训练一个 sparse autoencoder（SAE），把风格、属性这类抽象概念在稀疏空间里分离出来，对比成功与失败的生成，定位缺失或被削弱的概念维度，再在推理阶段把特征往类级概念原型上轻推来修复，全程不需要重训练。实验覆盖 SD 1.5、SDXL、SD 3.5、FLUX.1-dev、PixArt 等多个 backbone，修复后 CLIP 与风格对齐指标有明显提升。适合关注 diffusion 模型可控生成、prompt 遵循性、SAE 可解释性的研究者和算法工程师；做产品落地或不碰生成模型的人关系不大。

Star 趋势

仓库信息