[发明专利]一种大数据处理系统及其处理方法

权利要求书

1.一种大数据处理系统，其特征在于：包括，

数据格式变换模块，用于对原始数据的数据格式进行变换，形成待处理数据；

数据映射模块，用于建立待处理数据的映射集合；映射集合中的数据线性相关；计算映射规则的相似度，将相似度大于设定值的映射规则对应的待处理数据设定为同一个数据簇；

映射数据处理模块，用于对映射集合的数据进行处理；对映射集合的数据进行处理包括以下步骤，

C1、将每个数据簇内的数据建立数据树，将映射规则完全相同的数据作为节点；

C2、以节点作为数据处理的起始端对数据进行处理，两个节点之间的数据采用相同的处理方式，处理方式使用两端节点数据处理方式的线性组合确定；

C3、建立不同数据簇之间的关联矩阵，根据关联矩阵建立数据的多维关联树；

原始数据处理模块，用于根据映射集合数据的处理结果对原始数据进行处理，对原始数据进行处理包括以下步骤，

D1、在数据表头段标记数据原始地址；

D2、将数据特征段中的数据特征与多维关联树的节点进行遍历对比，取与数据特征相似度最高的节点作为映射节点；

D3、使用映射规则段记录的映射规则对映射节点进行反运算，得到原始数据的处理结果。

2.一种权利要求1所述的大数据处理系统的处理方法，其特征在于包括以下步骤：

A、数据格式变换模块，用于对原始数据的数据格式进行变换，变换后的原始数据包括数据表头段、数据特征段、映射规则段、数据内容段；

B、数据映射模块，建立待处理数据的映射集合，并将映射规则标记在映射规则段；映射集合中的数据线性相关；计算映射规则的相似度，将相似度大于设定值的映射规则对应的待处理数据设定为同一个数据簇；

C、映射数据处理模块，对映射集合的数据进行处理，对映射集合的数据进行处理包括以下步骤，

C1、将每个数据簇内的数据建立数据树，将映射规则完全相同的数据作为节点；

C2、以节点作为数据处理的起始端对数据进行处理，两个节点之间的数据采用相同的处理方式，处理方式使用两端节点数据处理方式的线性组合确定；

C3、建立不同数据簇之间的关联矩阵，根据关联矩阵建立数据的多维关联树；

D、原始数据处理模块，根据映射集合数据的处理结果对原始数据进行处理，对原始数据进行处理包括以下步骤，

D1、在数据表头段标记数据原始地址；

D2、将数据特征段中的数据特征与多维关联树的节点进行遍历对比，取与数据特征相似度最高的节点作为映射节点；

D3、使用映射规则段记录的映射规则对映射节点进行反运算，得到原始数据的处理结果。