[发明专利]一种基于数据特征的大规模数据质量异常检测方法

权利要求书

1.一种基于数据特征的大规模数据质量异常检测方法，其特征在于，包括以下步骤：

构建数据异常检测方法库，根据每种数据特征设置对应的检测方法，汇总形成数据异常检测方法库；

对数据特征进行异常检测方法匹配，根据匹配结果中的异常检测方法进行检测；

大规模数据特征遍历，对每个数据特征进行匹配和检测。

2.根据权利要求1所述的一种基于数据特征的大规模数据质量异常检测方法，其特征在于，所述数据异常检测方法库以字典类型存储，数据特征名称及其特征参数组成的元组作为字典的键，数据特征对应的异常检测方法作为字典的值。

3.根据权利要求2所述的一种基于数据特征的大规模数据质量异常检测方法，其特征在于，所述匹配包括以下过程：对待处理的数据特征名称和异常检测方法库中的键分别嵌入经NLP得到的词向量，计算词向量之间的余弦相似度，相似度于阈值的键即为该数据特征对应的潜在键，这些键所对应的异常检测方法即是匹配结果。

4.根据权利要求3所述的一种基于数据特征的大规模数据质量异常检测方法，其特征在于，所述余弦相似度的计算公式如下：

其中u和v分别表示两个词向量。

5.根据权利要求3或4所述的一种基于数据特征的大规模数据质量异常检测方法，其特征在于，所述大规模数据特征遍历过程包括：将待匹配的词向量中每一维度数值按比例缩放至0到255范围内，以依次展开排列的n个像素点阵列表示每个词向量，其中n为词向量的维度，该词向量每个维度的值为每个像素点的灰度值，以将像素点阵列所表示的图像复制至m个像素点的白底图片中得到复刻图，其中m为n的x^2倍，x为大于等于2的自然数，降低复刻图的像素至n，读取每个像素的灰度值，组成新的特殊词向量，使用特殊词向量进行余弦相似度的计算以减少大规模数据量下的计算强度。

6.根据权利要求3或4所述的一种基于数据特征的大规模数据质量异常检测方法，其特征在于，所述大规模数据特征遍历过程包括：将待匹配的词向量中每一维度数值按比例缩放至0到255范围内，并将0至225分为若干阶，将每个维度的数值修改为该数值对应阶内的中间数，生成新的特殊词向量，使用特殊词向量进行余弦相似度的计算以减少大规模数据量下的计算强度。