GitHub 热门

Aevonix/FlashAlign

推理部署 在 GitHub 打开 ↗

按请求动态切换模型对齐档案,免改权重实现差异化拒绝策略

Star123
24h 新增+3
7 天新增—
Fork15
Issue0
语言Python

项目介绍

更新于 1 天前

FlashAlign 是一个给大模型做「按需对齐」的工具,核心能力是 abliteration——也就是把模型的拒绝倾向削弱,让它更少说「我不能做这个」。它最实用的地方在于不用永久改权重:同一份模型权重,可以在不同请求上套用不同对齐档案,比如对已验证的用户和渠道放开限制,对其他请求保持原样,或者干脆全局开启。目前提供五个起步档案,覆盖 DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8-27B、Gemma 4 等模型,兼容 vLLM、SGLang、llama.cpp 等主流推理引擎,也能接进 Hermes、OpenClaw 或自建 harness。它解决的麻烦是:想让模型在特定场景少拒绝,又不想为此单独维护一份改过权重的模型副本,还得防止被滥用。适合在本地或私有环境跑推理服务、需要针对不同调用方差异化控制模型行为的算法和平台工程师;如果你只是调用 API 或做应用层开发,跟你的关系不大。

上手成本:中

Star 趋势

记录 7 个数据点 · 期间增长 +3

话题标签

abliterationhermesinferencellama-cppllmmodel-alignmentopenclawsglangtensorfoldvllm

仓库信息

LicenseAGPL-3.0
创建时间2026-10-31
最后推送4 天前
热度分11.0