[发明专利]一种重复数据的数据质量检测方法及装置

摘要

本发明为一种重复数据的数据质量检测方法及装置，所述方法包括：步骤b，生成模型训练集；步骤c，分析所述模型训练集中的各个组合对，并标记为记录重复或记录不重复；步骤d，计算记录重复的概率，并筛选出概率较大的字段组合作为样本字段组合；步骤e，对待检测数据的值进行分析；步骤f，据进行重复检测，筛选出所有重复字段满足所述样本字段组合的记录组合；所述装置包括与各个步骤相对应的训练集生成单元、样本记录标重单元、样本组合筛选单元、检测数据分析单元和检测数据筛选单元。这样，通过对字段组合进行重复可能性的计算，无需比较任意两条记录的重复可能性，缩短了时间，提高了检测效率；同时也可以检测两条数据部分相同的情况。

主权项

1.一种重复数据的数据质量检测方法，其特征在于，包括：步骤b，对包含多条记录的训练样本的数据值进行分析，生成模型训练集，所述模型训练集为任意两条有重复字段的记录及其重复字段的标记，每个字段的同一值对应的两个记录编号为一组合对；步骤c，分析所述模型训练集中的各个所述组合对，并通过人工或算法将所述组合对对应的两条记录标记为记录重复或记录不重复；然后选择是否继续训练，继续则重新确定所述训练样本并返回步骤b，否则进入步骤d；步骤d，计算一个或多个字段重复则记录重复的概率，并筛选出概率较大的字段组合作为样本字段集合；步骤e，对待检测数据的值进行分析，输出每个字段的每个不同值对应的记录编号；步骤f，根据所述样本字段集合对分析过的所述待检测数据进行重复检测，筛选出所有重复字段满足所述样本字段集合的记录组合。