cdcailf/cjkfold

从 PDF 抽出来的中文经常藏着「长得一样、码点不同」的假汉字：比如 Kangxi 部首「⻆」渲染出来就是「角」，但字符串比较、关键词搜索、去重全都会悄悄失败，向量检索还可能把无关短文档排到前面。cjkfold 就是专门修这个问题的纯 Python 工具，把这些部首字形折叠回真正的统一汉字，让抽取出的文本重新可比对。它比常见的 NFKC 归一化更彻底——NFKC 能修 Kangxi 部首区的 214 个字，却对 CJK 部首补充区的 115 个字只修了 2 个，cjkfold 借助 Unicode 15.1 的 EquivalentUnifiedIdeograph 属性补上了 114 个。它还带扫描能力，能区分「可安全折叠」「NFKC 可处理」「零宽空格可删除」「ZWJ 等不可乱删」以及乱码占位符等几类问题，并给出处理建议。如果你在做 PDF 文本抽取、中文 RAG 检索、语料去重或搜索相关性排查，这个工具值得一看；纯做前端或业务后端的人关系不大。

Star 趋势

话题标签

仓库信息