[发明专利]异地婚姻数据去重方法及终端设备

权利要求书

1.一种异地婚姻数据去重方法，其特征在于，包括：

获取待处理的异地婚姻数据；

对所述异地婚姻数据进行预处理，得到预处理后的第一婚姻数据；

提取所述第一婚姻数据中至少三个属性特征对应的值，得到第二婚姻数据；

对所述第二婚姻数据中的每一条婚姻数据记录进行MD5值计算，将计算的MD5值进行比较，并将相同MD5值对应的第一婚姻数据中的任一婚姻数据记录删除，得到去重后的目标异地婚姻数据。

2.如权利要求1所述的异地婚姻数据去重方法，其特征在于，所述对所述异地婚姻数据进行预处理，得到预处理后的第一婚姻数据，包括：

将所述第一婚姻数据按照属性特征转换为列表方式存储，其中列表中每一列表示婚姻数据的属性特征，每一行表示一个用户的数据记录；

提取所述列表中存在空值的婚姻数据记录，并保存在空值数据列表中，去除空值数据的列表中的婚姻数据为预处理后的第一婚姻数据。

3.如权利要求1所述的异地婚姻数据去重方法，其特征在于，在所述对所述第二婚姻数据中的每一条婚姻数据记录进行MD5值计算之前，还包括：

对所述第二婚姻数据进行分组。

4.如权利要求3所述的异地婚姻数据去重方法，其特征在于，所述至少三个属性特征中至少包括姓名信息、身份证信息、婚姻登记时间信息。

所述对所述第二婚姻数据进行分组，包括：

根据所述第二婚姻数据中的身份证信息对所述第二婚姻数据进行分组。

5.如权利要求4所述的异地婚姻数据去重方法，其特征在于，所述对所述第二婚姻数据进行分组，包括：

根据所述第二婚姻数据中身份证信息的前三位数据进行分组；

当所述第二婚姻数据中身份证信息的前三位数据相同的婚姻数据记录数量大于预设记录数量时，根据所述第二婚姻数据中身份证信息的前六位数据进行分组。

6.如权利要求5所述的异地婚姻数据去重方法，其特征在于，所述对所述第二婚姻数据中的每一条婚姻数据记录进行MD5值计算，包括：

对每一分组中的每一条婚姻数据记录进行MD5值计算。

7.一种异地婚姻数据去重装置，其特征在于，包括：

获取模块，用于获取待处理的异地婚姻数据；

预处理模块，用于对所述异地婚姻数据进行预处理，得到预处理后的第一婚姻数据；

提取模块，用于提取所述第一婚姻数据中至少三个属性特征对应的值，得到第二婚姻数据；

数据去重模块，用于对所述第二婚姻数据中的每一条婚姻数据记录进行MD5值计算，将计算的MD5值进行比较，并将相同MD5值对应的第一婚姻数据中的任一婚姻数据记录删除，得到去重后的目标异地婚姻数据。

8.如权利要求7所述的异地婚姻数据去重装置，其特征在于，所述预处理模块，用于：

将所述第一婚姻数据按照属性特征转换为列表方式存储，其中列表中每一列表示婚姻数据的属性特征，每一行表示一个用户的数据记录；

提取所述列表中存在空值的婚姻数据记录，并保存在空值数据列表中，去除空值数据的列表中的婚姻数据为预处理后的第一婚姻数据。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。