[发明专利]数据归一化方法、装置、计算机可读介质和电子设备

权利要求书

1.一种数据归一化方法，其特征在于，包括：

基于MapReduce计算架构，对分布式存储的待处理数据进行处理，得到初始数据；其中，所述待处理数据的格式为分布式文件系统支持的格式，所述初始数据包含多个键不相同的第一键值对；

基于MapReduce计算架构，将所述初始数据中的多个所述第一键值对分别转化为多个第二键值对，得到所述待处理数据的归一化数据，其中，所述待处理数据的归一化数据包含多个所述第二键值对。

2.根据权利要求1所述的方法，其特征在于，所述基于MapReduce计算架构，对分布式存储的待处理数据进行处理，得到初始数据，包括：基于MapReduce计算架构，

对分布式存储的所述待处理数据进行分割处理，得到第一结果数组；

建立所述第一结果数组的要素标记数组，其中，所述要素标记数组中的要素标记与所述第一结果数组中的元素一一对应；

根据所述第一结果数组和所述要素标记数组，得到第二结果数组，其中，所述第二结果数组中包含的每个元素由所述第一结果数组中的非空值元素、所述非空值元素对应的所述要素标记数组中的所述要素标记拼接得到；

对所述第二结果数组进行遍历，提取所述第二结果数组中的每个元素，将所述第二结果数组中的每个元素与所述第二结果数组组成一个第一初始键值对；

对多个所述第一初始键值对进行转化，得到多个键不相同的第一键值对，其中，多个所述第一键值对构成所述初始数据。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一结果数组和所述要素标记数组，得到第二结果数组，包括：

提取所述第一结果数组中的非空值元素，以及，所述非空值元素对应的所述要素标记数组中的所述要素标记；

对所述非空值元素和所述非空值元素对应的所述要素标记进行拼接，构成所述第二结果数组的多个元素，以得到所述第二结果数组。

4.根据权利要求2所述的方法，其特征在于，所述对多个所述第一初始键值对进行转化，得到多个键不相同的第一键值对，包括：对多个所述第一初始键值对中键相同的所述第一初始键值对的值进行并集处理，并对并集处理的结果进行去重处理，得到多个键不相同的所述第一键值对。

5.根据权利要求1所述的方法，其特征在于，所述基于MapReduce计算架构，将所述初始数据中的多个所述第一键值对分别转化为多个第二键值对，得到所述待处理数据的归一化数据，包括：基于MapReduce计算架构，

提取所述初始数据中的多个所述第一键值对的值，生成中间结果数组；

对所述中间结果数组进行遍历，提取所述中间结果数组中的每一个元素，将所述中间结果数组中的每个元素与所述中间结果数组组成一个第二初始键值对；

对多个所述第二初始键值对中键相同的所述第二初始键值对的值进行并集处理，并对并集处理的结果进行去重处理，生成多个第二键值对，由多个所述第二键值对构成所述待处理数据的归一化数据。

6.根据权利要求5所述的方法，其特征在于，所述对多个所述第二初始键值对中键相同的所述第二初始键值对的值进行并集处理，并对并集处理的结果进行去重处理，生成多个所述第二键值对，由多个所述第二键值对构成所述待处理数据的归一化数据，包括：

根据所述待处理数据中的第i个数据要素，对所述第i个数据要素对应的多个所述第二初始键值对中相同的值进行并集处理，并对并集处理的结果进行去重处理，生成所述第i个数据要素的多个所述第二键值对，由所述第i个数据要素的多个所述第二键值对构成所述待处理数据的所述第i个数据要素的归一化数据，其中，i为正整数；

基于MapReduce计算架构，对所述第i个数据要素的多个所述第二键值对进行转化，生成第i+1个数据要素的多个所述第二键值对，由所述第i+1个数据要素的多个所述第二键值对构成所述待处理数据的所述第i+1个数据要素的归一化数据。