[发明专利]一种数据去重方法及装置

权利要求书

1.一种数据去重方法，其特征在于，所述方法包括：

获得待去重的多个数据行和去重字段；

基于所述去重字段和所述多个数据行，生成所述多个数据行各自对应的数据行标识；

基于所述多个数据行各自对应的数据行标识，对所述多个数据行中具有相同的数据行标识的数据行进行去重处理，获得去重结果。

2.根据权利要求1所述的方法，其特征在于，所述基于所述去重字段和所述多个数据行，生成所述多个数据行各自对应的数据行标识，包括：

从所述多个数据行中，筛选出与所述去重字段匹配的数据列，其中，所述数据列包括每个数据行对应的去重字段值；

基于每个数据行对应的去重字段值，确定每个数据行对应的数据行标识。

3.根据权利要求2所述的方法，其特征在于，所述基于每个数据行对应的去重字段值，确定每个数据行对应的数据行标识，包括：

若所述去重字段为多个，所述数据列包括每个数据行对应的多个去重字段值，针对每个数据行，分别将每个数据行对应的多个去重字段值进行组合，获得所述每个数据行对应的数据行标识。

4.根据权利要求2所述的方法，其特征在于，所述基于每个数据行对应的去重字段值，确定每个数据行对应的数据行标识，包括：

若所述去重字段为一个，所述数据列包括每个数据行对应的一个去重字段值，针对每个数据行，分别将每个数据行对应的一个去重字段值确定为所述每个数据行对应的数据行标识。

5.根据权利要求1所述的方法，其特征在于，所述基于所述多个数据行各自对应的数据行标识，对所述多个数据行中具有相同的数据行标识的数据行进行去重处理，获得去重结果，包括：

将所述多个数据行各自对应的数据行标识进行比较；

根据比较结果，确定所述多个数据行各自对应的数据行标识中是否存在相同的数据行标识；

若存在，将所述多个数据行中具有相同的数据行标识的数据行中的一个数据行保留，并将所述具有相同的数据行标识的数据行中的除了保留的一个数据行之外的其它数据行删除，获得去重结果。

6.根据权利要求1所述的方法，其特征在于，所述获得待去重的多个数据行和去重字段，包括：

展示配置界面；

获取用户通过所述配置界面所设置的待去重数据路径和所述去重字段，其中，所述待去重数据路径为分布式文件系统中的数据存储路径；

基于所述待去重数据路径，从分布式文件系统中读取所述多个数据行。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

获取用户通过所述配置界面所设置的用于指示如何存储所述去重结果的存储路径和用于指示是否保留所述多个数据行的存储规则；

若所述存储规则指示保留所述多个数据行，将所述去重结果存储至所述分布式文件系统中所述存储路径所指示的存储空间中；

或者，若所述存储规则指示不保留所述多个数据行，将所述去重结果存储至所述分布式文件系统中所述存储路径所指示的存储空间中，并从所述分布式文件系统中删除所述多个数据行。

8.一种数据去重装置，其特征在于，所述装置包括：

第一获得单元，用于获得待去重的多个数据行和去重字段；

生成单元，用于基于所述去重字段和所述多个数据行，生成所述多个数据行各自对应的数据行标识；

第二获得单元，用于基于所述多个数据行各自对应的数据行标识，对所述多个数据行中具有相同的数据行标识的数据行进行去重处理，获得去重结果。

9.一种计算机可读存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在计算机设备执行如权利要求1至7任一项所述的数据去重方法的步骤。

10.一种计算机设备，其特征在于，所述计算机设备包括：

至少一个处理器；

以及与所述处理器连接的至少一个存储器、总线；

其中，所述处理器、存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如1至7任一项所述的数据去重方法的步骤。