[发明专利]异地婚姻数据去重方法及终端设备

说明书

本发明适用于数据处理技术领域，提供了一种异地婚姻数据去重方法及终端设备，该方法包括：获取待处理的异地婚姻数据；对所述异地婚姻数据进行预处理，得到预处理后的第一婚姻数据；提取所述第一婚姻数据中至少三个属性特征对应的值，得到第二婚姻数据；对所述第二婚姻数据中的每一条婚姻数据记录进行MD5值计算，将计算的MD5值进行比较，并将相同MD5值对应的第一婚姻数据中的任一婚姻数据记录删除，得到去重后的目标异地婚姻数据，从而可以解决现有技术中异地婚姻数据重复的问题。

技术领域

本发明属于数据处理技术领域，尤其涉及一种异地婚姻数据去重方法及终端设备。

背景技术

婚姻登记系统覆盖全国范围，人口基数庞大。目前婚姻登记时，通常需要在男女双方任意一方的户口所在地进行办理，由于近年来各地吸引人才的政策较多，社会人口的流动性较大，很多人选择定居异地，办理婚姻登记的双方很大可能都不在户口所在地，因此逐渐出现了在网上进行异地婚姻登记的方式。然而，在婚姻登记系统中数据量大，在互联网上实行异地婚姻登记方式之前，各地婚姻登记系统未全国联网，且工作人员手动登记婚姻数据，导致重复数据产生，因此急需一种对婚姻登记系统中婚姻数据进行清洗的方法以去除重复数据。

发明内容

有鉴于此，本发明实施例提供了一种异地婚姻数据去重方法及终端设备，旨在解决现有技术中婚姻数据重复的问题。

为实现上述目的，本发明实施例的第一方面提供了一种异地婚姻数据去重方法，包括：

获取待处理的异地婚姻数据；

对所述异地婚姻数据进行预处理，得到预处理后的第一婚姻数据；

提取所述第一婚姻数据中至少三个属性特征对应的值，得到第二婚姻数据；

对所述第二婚姻数据中的每一条婚姻数据记录进行MD5值计算，将计算的MD5值进行比较，并将相同MD5值对应的第一婚姻数据中的任一婚姻数据记录删除，得到去重后的目标异地婚姻数据。

作为本申请另一实施例，所述对所述异地婚姻数据进行预处理，得到预处理后的第一婚姻数据，包括：

将所述第一婚姻数据按照属性特征转换为列表方式存储，其中列表中每一列表示婚姻数据的属性特征，每一行表示一个用户的数据记录；

提取所述列表中存在空值的婚姻数据记录，并保存在空值数据列表中，去除空值数据的列表中的婚姻数据为预处理后的第一婚姻数据。

作为本申请另一实施例，在所述对所述第二婚姻数据中的每一条婚姻数据记录进行MD5值计算之前，还包括：

对所述第二婚姻数据进行分组。

作为本申请另一实施例，所述至少三个属性特征中至少包括姓名信息、身份证信息、婚姻登记时间信息。

所述对所述第二婚姻数据进行分组，包括：

根据所述第二婚姻数据中的身份证信息对所述第二婚姻数据进行分组。

作为本申请另一实施例，所述对所述第二婚姻数据进行分组，包括：

根据所述第二婚姻数据中身份证信息的前三位数据进行分组；

当所述第二婚姻数据中身份证信息的前三位数据相同的婚姻数据记录数量大于预设记录数量时，根据所述第二婚姻数据中身份证信息的前六位数据进行分组。

作为本申请另一实施例，所述对所述第二婚姻数据中的每一条婚姻数据记录进行MD5值计算，包括：

对每一分组中的每一条婚姻数据记录进行MD5值计算。

本发明实施例的第二方面提供了一种异地婚姻数据去重装置，包括：

获取模块，用于获取待处理的异地婚姻数据；