lyramakesmusic/neuron-explorer

这是一个针对 Qwen3.5-4B 的神经元探索工具，属于机制可解释性（mechanistic interpretability）研究方向。它把模型某一层的每个 MLP 神经元都向上、向下推一推（steering），在若干提示词上跑出所有结果并保留，再用 3D 视图把整层神经元铺开供浏览。具体能做的事包括：悬停查看单个神经元的 steer lens 和 R lens，点击看它在不同剂量下的多轮对话效果（负向、无干预、正向三栏对比），查看它在网页文本里最强的激活上下文和集中的域名，以及用 UMAP 观察一层 rollout 的分布。它还内置了 Claude CLI 聊天，把探索器作为 MCP server 让 Claude 读取神经元数据、跑推理和消融、操作地图。适合做模型可解释性、安全研究或想深入理解 Transformer 内部机制的研究员和算法工程师；如果你不碰 Qwen 或不研究模型内部结构，跟你的关系不大。

Star 趋势

话题标签

仓库信息