[发明专利]异常数据检测方法、装置、电子设备及存储介质

权利要求书

1.一种异常数据检测方法，其特征在于，包括：

基于至少一个设定过滤规则，构建每个测试环境对应的第一白名单；所述第一白名单中存储有至少一个字段；

基于每个测试环境对应的第一白名单，对对应的测试环境对应的至少一个第一数据库表进行抽数，得到每个第一数据库表对应的第一监控表；

基于异常监控规则确定每个测试环境对应的每个第一监控表中是否存在异常数据；其中，

第一数据库表通过删除源数据库表中的索引字段，并至少新增第一设定字段得到；所述第一设定字段用于写入分区日期；所述异常监控规则由生产环境对应的设定监控规则转换得到。

2.根据权利要求1所述的方法，其特征在于，所述基于至少一个设定过滤规则，构建每个测试环境对应的第一白名单，包括：

基于第一测试环境对应的设定过滤规则，确定出第一字段；

在第一测试环境对应的包含第一字段的源数据库表中，确定出第一字段相关的第二字段；

基于确定出的第一字段和确定出的第二字段，构建第一测试环境对应的第一白名单。

3.根据权利要求2所述的方法，其特征在于，所述基于第一测试环境对应的设定过滤规则，确定出第一字段，包括以下至少之一：

基于设定的结构化查询语言SQL语句，在第一测试环境对应的第一请求相关的测试数据中，查找出第一字段；第一请求表征由前端页面发起的请求；

在第二请求的业务流水号对应的子系统链路完整的情况下，将业务流水号对应的第一设定字段确定为第一字段；子系统链路由执行第二请求的子系统构成；

在第三请求中打标的第一标记未命中第一过滤条件，且第三请求的业务流水号对应的子系统链路完整的情况下，将第三请求调用的应用程序接口API的接口参数中的第二设定字段确定为第一字段。

4.根据权利要求1所述的方法，其特征在于，第一数据库表中还新增有第二设定字段，所述第二设定字段用于写入系统日期；

所述基于每个测试环境对应的第一白名单，对对应的测试环境对应的至少一个第一数据库表进行抽数，包括：

在第一测试环境完成批量日切的情况下，从第一测试环境对应的第一数据库表中，提取出第一白名单中的第三字段对应的第一记录；

基于第三字段的设定生命周期以及基于第一数据库表中的第一设定字段或第二设定字段，确定第三字段在第一数据库表中是否有效；

在第三字段在第一数据库表中有效的情况下，将提取出的第一记录写入第一数据库表对应的第一监控表。

5.根据权利要求1所述的方法，其特征在于，在所述基于异常监控规则确定每个测试环境对应的每个第一监控表中是否存在异常数据之前，所述方法还包括：

通过解析第一脚本，确定出第一映射关系和第二映射关系；其中，所述第一脚本表征用于大数据抽数的脚本；第一映射关系表征每个测试环境中的数据库和数据仓库工具Hive库之间的映射关系；第二映射关系表征每个测试环境中的源数据库表与Hive库中的Hive表之间的映射关系；

基于第一映射关系、第二映射关系、存储的第三映射关系和设定转换策略，将生产环境对应的设定监控规则转换为异常监控规则；第三映射关系表征生产环境中的Hive库与测试环境中的Hive库之间的映射关系。

6.根据权利要求5所述的方法，其特征在于，所述基于确定出的第一映射关系、第二映射关系、第三映射关系和设定转换策略，将生产环境对应的设定监控规则转换为异常监控规则，包括以下至少之一：

基于第一映射关系和第三映射关系，将生产环境对应的设定监控规则中的Hive库替换为测试环境中对应的数据库，得到异常监控规则；

基于第二映射关系，将生产环境对应的设定监控规则中的Hive表替换为对应的源数据库表，得到异常监控规则；

基于第一设定转换策略，对生产环境对应的设定监控规则中的ds分区信息进行转换，得到异常监控规则；

基于第二设定转换策略，对生产环境对应的设定监控规则中的查询语言HQL函数方法进行转换，得到异常监控规则；

按照每个测试环境的数据源支持的设定格式，将生产环境对应的设定监控规则进行转换，得到异常监控规则。