[发明专利]一种数据去重的方法及装置

说明书

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据去重的方法及装置。

背景技术

目前基于数据融合系统的数据去重方法是将待去重的一列或是一行数据进行排序，并对重复的数据用区分码(1，2)进行标识，删除标识为“2”的数据。现有的数据去重方法在对多行或多列数据进行去重时效率较低。

发明内容

本发明的目的是提供一种数据去重的方法及装置，其目的在于解决现有技术中对多行或多列数据进行去重时效率低的问题。

为解决上述技术问题，本发明提供一种数据去重的方法，包括：

获取待处理的数据的业务主键，所述业务主键为根据业务需求代表数据唯一性的字段；

将所述业务主键转换为统一的预设格式，生成匹配码；

按预设的顺序对所述生成的匹配码进行排序，生成验证码；

查找所述经排序后的验证码，将所述验证码与排列在前的第一验证码进行比对，当所述验证码与所述第一验证码相同时，将所述验证码的区分码记为第二区分码；

删除所述验证码中标记为第二区分码的数据。

可选地，所述将所述业务主键转换为统一的预设格式，生成匹配码包括：

将所述业务主键用信息-摘要算法5的算法函数进行转码，生成标准统一的匹配码。

可选地，所述将所述业务主键转换为统一的预设格式，生成匹配码包括：

采用分布式模式并行计算，将所述业务主键转换为统一的预设格式，生成所述匹配码。

可选地，所述按预设的顺序对所述生成的匹配码进行排序，生成验证码包括：

将所述生成的匹配码按照由小到大的顺序进行排序，生成所述验证码。

可选地，在生成所述验证码之后，还包括：

将所述生成的验证码存储在特定的临时表中。

可选地，所述查找所述经排序后的验证码，将所述验证码与排列在前的第一验证码进行比对，当所述验证码与所述第一验证码相同时，将所述验证码的区分码记为第二区分码包括：

按照预定的分区，采用分布式模式查找所述临时表中经排序后的验证码，将所述验证码与排列在前的第一验证码进行比对，当所述验证码与所述第一验证码相同时，将所述验证码的区分码记为第二区分码。

可选地，所述删除所述验证码中标记为第二区分码的数据之后，还包括：

统计所述删除数据的数量，生成数据去重统计报告。

本发明还提供了一种数据去重的装置，包括：

获取模块，用于获取待处理的数据的业务主键，所述业务主键为根据业务需求代表数据唯一性的字段；

转换模块，用于将所述业务主键转换为统一的预设格式，生成匹配码；

排序模块，用于按预设的顺序对所述生成的匹配码进行排序，生成验证码；

查找模块，用于查找所述经排序后的验证码，将所述验证码与排列在前的第一验证码进行比对，当所述验证码与所述第一验证码相同时，将所述验证码的区分码记为第二区分码；

去重模块，用于删除所述验证码中标记为第二区分码的数据。

可选地，所述转换模块用于将所述业务主键转换为统一的预设格式，生成匹配码包括：

所述转换模块具体用于，将所述业务主键用信息-摘要算法5的算法函数进行转码，生成标准统一的匹配码。

可选地，所述转换模块用于将所述业务主键转换为统一的预设格式，生成匹配码包括：

所述转换模块具体用于，采用分布式模式并行计算，将所述业务主键转换为统一的预设格式，生成所述匹配码。

可选地，所述排序模块用于按预设的顺序对所述生成的匹配码进行排序，生成验证码包括：

所述排序模块具体用于，将所述生成的匹配码按照由小到大的顺序进行排序，生成所述验证码。

可选地，在生成所述验证码之后，还包括：

存储模块，用于将所述生成的验证码存储在特定的临时表中。

可选地，所述查找模块用于查找所述经排序后的验证码，将所述验证码与排列在前的第一验证码进行比对，当所述验证码与所述第一验证码相同时，将所述验证码的区分码记为第二区分码包括：

所述查找模块具体用于，按照预定的分区，采用分布式模式查找所述临时表中经排序后的验证码，将所述验证码与排列在前的第一验证码进行比对，当所述验证码与所述第一验证码相同时，将所述验证码的区分码记为第二区分码。

可选地，所述删除所述验证码中标记为第二区分码的数据之后，还包括：

统计模块，用于统计所述删除数据的数量，生成数据去重统计报告。