[发明专利]一种对数据进行去重的方法和设备

权利要求书

1.一种对数据进行去重的方法，其特征在于，所述方法包括：

分别将待导入数据库的各数据与该数据所属的时间段进行编码；

针对得到的各编码结果，依次执行以下操作：

判断去重表中是否已存储当前执行的编码结果；

若是，则过滤当前执行的编码结果以及该编码结果对应的数据；

否则，将当前执行的编码结果对应的数据导入数据库中，并将该编码结果存储至所述去重表中。

2.如权利要求1所述的对数据进行去重的方法，其特征在于，将当前执行的编码结果对应的数据导入数据库之后，所述方法还包括：

在数据库中记录导入的数据所属的时间段。

3.如权利要求1所述的对数据进行去重的方法，其特征在于，所述去重表中包含多张子表，每张子表中存储的编码结果对应相同的时间段；

判断去重表中是否已存储当前执行的编码结果，并在未存储当前执行的编码结果时，将该编码结果存储至所述去重表中，具体包括：

根据当前执行的编码结果对应的时间段，确定该时间段在去重表中对应的子表；

判断确定的子表中是否已存储当前执行的编码结果，在确定的子表中未存储当前执行的编码结果时，将该编码结果存储至所述确定的子表中。

4.如权利要求1所述的对数据进行去重的方法，其特征在于，

待导入数据库的各数据与该数据所属的时间段进行MD5编码。

5.一种对数据进行去重的设备，其特征在于，所述设备包括：

编码模块，用于分别将待导入数据库的各数据与该数据所属的时间段进行编码；

去重模块，用于针对得到的各编码结果，依次执行以下操作：

判断去重表中是否已存储当前执行的编码结果，若是，则过滤当前执行的编码结果以及该编码结果对应的数据，否则，将该编码结果存储至所述去重表中，并触发导入模块；

导入模块，用于将当前执行的编码结果对应的数据导入数据库中。

6.如权利要求5所述的对数据进行去重的设备，其特征在于，

所述导入模块，还用于在数据库中记录导入的数据所属的时间段。

7.如权利要求5所述的对数据进行去重的设备，其特征在于，

所述去重模块，具体用于在去重表中包含多张子表，且每张子表中存储的编码结果对应相同的时间段时，根据当前执行的编码结果对应的时间段，确定该时间段在去重表中对应的子表，并判断确定的子表中是否已存储当前执行的编码结果，在确定的子表中未存储当前执行的编码结果时，将该编码结果存储至所述确定的子表中。

8.如权利要求5所述的对数据进行去重的设备，其特征在于，

所述编码模块，具体用于对待导入数据库的各数据与该数据所属的时间段进行MD5编码。