[发明专利]一种重复数据的数据质量检测方法及装置

权利要求书

1.一种重复数据的数据质量检测方法，其特征在于，包括：

步骤b，对包含多条记录的训练样本的数据值进行分析，生成模型训练集，所述模型训练集为任意两条有重复字段的记录及其重复字段的标记，每个字段的同一值对应的两个记录编号为一组合对；

步骤c，分析所述模型训练集中的各个所述组合对，并通过人工或算法将所述组合对对应的两条记录标记为记录重复或记录不重复；然后选择是否继续训练，继续则重新确定所述训练样本并返回步骤b，否则进入步骤d；

步骤d，计算一个或多个字段重复则记录重复的概率，并筛选出概率较大的字段组合作为样本字段集合；

步骤e，对待检测数据的值进行分析，输出每个字段的每个不同值对应的记录编号；

步骤f，根据所述样本字段集合对分析过的所述待检测数据进行重复检测，筛选出所有重复字段满足所述样本字段集合的记录组合。

2.根据权利要求1所述的数据质量检测方法，其特征在于，所述数据质量检测方法还包括：

步骤a，从待检测数据源提取所述训练样本；所述步骤a在所述步骤b之前。

3.根据权利要求2所述的数据质量检测方法，其特征在于，所述数据质量检测方法还包括：

步骤g，输出筛选出的所述记录组合以及所述记录组合重复的概率，所述步骤g在所述步骤f之后。

4.根据权利要求1或2或3所述的数据质量检测方法，其特征在于，所述步骤b包括：

步骤b2，对所述训练样本的数据值进行分析，统计每个字段的每个不同值对应的所述记录编号；

步骤b3，对每个字段的每个不同值对应的所述记录编号进行处理，生成所述模型训练集。

5.根据权利要求4所述的数据质量检测方法，其特征在于，所述步骤b3包括：

步骤b31，统计字段一的对应两条记录的值，每个值对应的两条记录为一个所述组合对，将该组合对记录并在字段一添加字段重复标记；

步骤b32，统计字段一的对应三条或三条以上记录的值，每个值对应的记录两两组合为一个所述组合对，将该组合对记录并在字段一添加所述字段重复标记；

步骤b33，统计字段二的对应两条或两条以上记录的值，每个值对应的记录两两组合为一个所述组合对，若该组合对与已记录的所述组合对相同，则在所述已记录的所述组合对的字段二添加所述字段重复标记；若该组合对与已记录的所述组合对不同，则将该组合对记录并在字段二添加所述字段重复标记；

步骤b34，按照步骤b33对其他字段进行处理，形成的所有所述组合对构成所述模型训练集。

6.根据权利要求1或2或3所述的数据质量检测方法，其特征在于，所述步骤d包括：

步骤d1，以某一字段标记字段重复的所述组合对数目为除数，以该字段标记字段重复的组合对中同时标记所述记录重复的数目为被除数，以商为该字段重复则记录重复的概率，计算所述字段重复则记录重复的概率；

步骤d2，根据所述字段重复则记录重复的概率计算多个字段重复则记录重复的概率；

步骤d3，设置阈值，筛选记录重复概率大于等于该阈值的字段组合作为样本字段集合。

7.根据权利要求6所述的数据质量检测方法，其特征在于，所述多个字段重复则记录重复的概率的计算公式为：

式中，p(1,2,...,k)为字段1,2,...,k重复则记录重复的概率；p₁、p₂、p_i、p_j、p_m、p_k分别为字段1、2、i、j、m、k重复则记录重复的概率。