[发明专利]一种基于数据特征的大规模数据质量异常检测方法

说明书

本发明公开了一种基于数据特征的大规模数据质量异常检测方法，包括以下步骤：构建数据异常检测方法库，根据每种数据特征设置对应的检测方法，汇总形成数据异常检测方法库；对数据特征进行异常检测方法匹配，根据匹配结果中的异常检测方法进行检测；大规模数据特征遍历，对每个数据特征进行匹配和检测。本发明的实质性效果包括：将异常检测由检测规则驱动的方式转变为由数据特征驱动的方式，基于各字段中数据本身的特征信息生成相应的异常值检测方法，同时针对大规模数据设置特殊的模糊化处理机制，实现数据质量检核的规模化与自动化，提高数据质量问题检测效率。

技术领域

本发明涉及数据异常检测领域，特别涉及一种基于数据特征的大规模数据质量异常检测方法。

背景技术

随着数字经济的发展，各行各业已经不再一味地追求数据量的规模，在数据应用的过程中对数据质量的要求也越来越高，面对海量的数据资源，如何更快、更准、更智能得发现定位数据质量问题，开展相应治理工作，是当前企业级数据资产管理的重点与核心。

如公开号CN108256074A的发明公开了一种校验处理的方法，包括获取待校验的数据仓库的模型，每一模型包括多个字段信息，所述字段信息包括字段定义和字段类型；根据预先存储的数据字典，对所述字段信息进行校验，所述数据字典包括多个标准用语，每一标准用语包括标准定义和标准类型；若所述字段定义与标准定义匹配且所述字段类型与标准类型不匹配，则将所述字段类型修改为与标准类型一致。所述方法根据标准用语对数据仓库的模型进行校验，在字段定义与标准定义匹配且字段类型与标准类型不匹配时，有针对性的将字段类型修改为与标准类型一致，从而得到标准的一致化的模型传统的数据质量异常检测是以规则为驱动，针对的是特定表的特定字段，由业务专家依据业务规范和经验知识设计一套质量异常检测方法，以此开展相应专项治理工作，这样构造的检测方法检测对象及用途专一、通用性不强，当需要开展大规模数据质量异常检测时效率低下、范围局限且需要逐个人为指定，无法实现大规模的数据质量异常检测。

发明内容

针对上述问题，本发明提供了一种基于数据特征的大规模数据质量异常检测方法，将异常检测由检测规则驱动的方式转变为由数据特征驱动的方式，基于各字段中数据本身的特征信息生成相应的异常值检测方法，实现数据质量检核的规模化与自动化，扩大了数据质量检测的范围，提高数据质量问题检测效率。

以下是本发明的技术方案。

一种基于数据特征的大规模数据质量异常检测方法，包括以下步骤：

构建数据异常检测方法库，根据每种数据特征设置对应的检测方法，汇总形成数据异常检测方法库；对数据特征进行异常检测方法匹配，根据匹配结果中的异常检测方法进行检测；大规模数据特征遍历，对每个数据特征进行匹配和检测。

本发明的方法库设置是从统计学、常识、自然规律、专业通用知识等角度对不同的数据特征分别设计对应的异常检测方法，比如数据值类特征设计当字段值出现极值时报异常、日期特征对不符合日期格式的字段内容报异常等，方法库的设置根据实际使用需求进行具体确定，匹配后针对性地进行检测。

作为优选，所述数据异常检测方法库以字典类型存储，数据特征名称及其特征参数组成的元组作为字典的键，数据特征对应的异常检测方法作为字典的值。Python的字典类型是个键值对，使用Python的字典类型来存储数据特征及其异常检测方法，字典的键存储的是数据特征名称及其特征参数组成的元组，字典的值存储的是该数据特征对应的异常检测方法，其中每个异常检测方法的阈值由特征参数给出，通过字典的方式存储，可以清楚划分键和值，利于后续的匹配。

作为优选，所述匹配包括以下过程：对待处理的数据特征名称和异常检测方法库中的键分别嵌入经NLP得到的词向量，计算词向量之间的余弦相似度，相似度于阈值的键即为该数据特征对应的潜在键，这些键所对应的异常检测方法即是匹配结果。词向量包含多维数值，借助余弦相似度，可以较为准确地判断和比较。

作为优选，所述余弦相似度的计算公式如下：