GitHub 热门

skavuri143/mapverity

在 GitHub 打开 ↗

把映射表变成可执行测试,验证数据管道每个字段的转换正确性

Star116
24h 新增—
7 天新增—
Fork117
Issue6
语言Python

项目介绍

更新于 1 天前

MapVerity 是一个数据管道字段级验证工具,专门解决医疗、保险、金融这类行业里「数据看着没问题但其实错了」的痛点——类型对、非空、在域内,但值就是错的。它把业务分析师已经在维护的 source-to-target mapping 表格直接编译成可执行的测试套件,对每个映射字段从源记录重新推导期望值,再和管道实际写入的结果比对,能处理 COBOL copybook、定宽文件、CSV、JSON、Parquet、S3、MongoDB、SQL 数据库和 REST API 等各种真实数据源。除了逐字段校验,它还能做数据变异测试,主动注入 15 类 ETL 故障来衡量你的测试套件到底能抓出多少、盲区在哪,并用基于公开缺陷数据训练的模型给转换函数打风险分、给出 SHAP 解释,把最可能出问题的检查排在前面跑。适合数据平台工程师、ETL 开发和数据质量负责人在 CI 里做发布门禁;如果你不负责数据管道的正确性验证,和你关系不大。

上手成本:中

Star 趋势

记录 5 个数据点 · 期间无变化

仓库信息

LicenseApache-2.0
创建时间2026-10-31
最后推送3 天前
热度分0.0