[发明专利]一种多维度数据去重方法及系统

权利要求书

1.一种多维度数据去重方法，其特征在于，该方法包括：

依据网络日志文件中任一维度值的多维度数据的属性值确定划分值，其中，所述任一维度值小于所述网络日志文件中各个维度的多维度数据的最大维度；

将所述网络日志文件中包含相同的所述划分值的不同多维度数据划分至一个子日志文件；

对于所述子日志文件中的任一个多维度数据，判断是否存在与其属性及属性值都相同的多维度数据，如果是，则删除与所述任一个多维度数据相同的多维度数据。

2.根据权利要求1所述的方法，其特征在于，所述依据网络日志文件中任一维度值的多维度数据的属性值确定划分值包括：将网络日志文件中维度为1的一维度数据的属性值确定为划分值。

3.根据权利要求1所述的方法，其特征在于，在所述任一维度值不为1，且维度小于任一维度值的多维度数据不包括所述划分值的情况下，所述方法还包括：

选取所述网络日志文件中维度相同，且小于所述任一维度值的各个多维度数据；

运用Hash算法对所选取的各个多维度数据进行计算，得出所选取的各个多维度数据的关键字；

将具有完全相同的关键字的各个多维度数据划分至一个子日志文件。

4.根据权利要求1至3任意一项所述的方法，其特征在于，所述将所述网络日志文件中包含有相同的所述划分值的多维度数据划分至一个子日志文件包括：

运用Hash算法对各个多维度数据包含的所述划分值进行计算，得出关键字；

将具有完全相同关键字的各个多维度数据划分至一个子日志文件。

5.根据权利要求1至3任意一项所述的方法，其特征在于，所述将所述网络日志文件中包含相同的所述划分值的不同多维度数据划分至一个子日志文件包括：

依据所述网络日志文件的大小，将所述网络日志文件拆分为多个初始子文件；

将所述多个初始子文件中包含相同划分值的多维度数据划分至一个目标子文件中，并将所述目标子文件作为子日志文件，其中所述目标子文件为所述多个初始子文件中的一个。

6.根据权利要求5所述的方法，其特征在于，所述将所述多个初始子文件中包含相同划分值的多维度数据划分至一个目标子文件中，并将所述目标子文件作为子日志文件包括：

运用Hash算法对各个多维度数据包含的所述划分值进行计算，得出关键字；

将具有完全相同的关键字的各个多维度数据划分至一个目标子文件，并将所述目标子文件作为子日志文件。

7.一种多维度数据去重系统，其特征在于，该系统包括：

划分值确定模块，用于依据网络日志文件中任一维度值的多维度数据的属性值确定划分值，其中，所述任一维度值小于所述网络日志文件中各个维度的多维度数据的最大维度；

划分模块，用于将所述网络日志文件中包含相同的所述划分值的不同多维度数据划分至一个子日志文件；

判断模块，用于对于所述子日志文件中的任一个多维度数据，判断是否存在与其属性及属性值都相同的多维度数据；

删除模块，用于在所述判断模块的结果为是的情况下，删除与所述任一个多维度数据相同的多维度数据。

8.根据权利要求7所述的系统，其特征在于，所述划分值确定模块，具体用于将所述网络日志文件中维度为1的一维度数据的属性值确定为划分值。

9.根据权利要求7所述的系统，其特征在于，在所述任一维度值不为1，且维度小于任一维度值的多维度数据不包括所述划分值的情况下，所述系统还包括：

数据选取模块，用于选取所述网络日志文件中维度相同，且小于所述任一维度值的各个多维度数据；

所述划分模块，还用于运用Hash算法对所选取的各个多维度数据进行计算，得出所选取的各个多维度数据的关键字，将具有完全相同关键字的各个多维度数据划分至一个子日志文件。

10.根据权利要求7至9任意一项所述的系统，其特征在于，所述划分模块包括：

关键字计算单元，用于运用Hash算法对各个多维度数据包含的所述划分值进行计算，得出关键字；

第一划分单元，用于将具有完全相同关键字的各个多维度数据划分至一个子日志文件。