[发明专利]跨数据中心的数据传输处理方法及系统

权利要求书

1.一种跨数据中心的数据传输处理方法，其特征在于，包括：

数据产生层产生日志数据，将日志数据传输至数据中转层；

数据中转层接收到日志数据后，在从数据处理层获得的字典库中查找日志数据的标识，用查找到的标识对日志数据进行替换，所述字典库中存储日志数据与标识的唯一对应关系；

数据中转层将标识替换后的日志数据传输至数据处理层；

数据产生层包括WEB服务器、终端服务器；数据中转层包括数据中转服务器；数据处理层包括分布式集群节点。

2.如权利要求1所述的方法，其特征在于，若数据中转层在所述字典库中未查找到日志数据的标识，则保留原日志数据并传输至数据处理层；

数据处理层将未进行标识替换的日志数据补充至字典库中，并为该日志数据分配标识，存储该日志数据与标识的唯一对应关系；

数据处理层将更新后的字典库同步至数据中转层。

3.如权利要求1或2所述的方法，其特征在于，数据处理层通过如下方式为日志数据分配标识并在字典库中存储日志数据与标识的唯一对应关系：

对日志数据取哈希值，将该哈希值与字典库中已有数据进行对比；

若字典库中不存在该哈希值，则将该日志数据补充至字典库中；

取字典库中的已有标识的最大值加1，作为该日志数据的标识进行存储。

4.如权利要求1或2所述的方法，其特征在于，数据处理层建立多个字典库，对不同日志数据与标识的唯一对应关系进行存储；

数据中转层对包含长字符串信息的日志数据进行标识替换时，从多个字典库中查找长字符串信息中不同日志数据的标识，以标识拼接的方式替换日志数据中的长字符串信息。

5.如权利要求1或2所述的方法，其特征在于，数据处理层建立的字典库中包括组合字段字典库，所述组合字段字典库存储日志数据字段的组合与标识的组合的唯一对应关系。

6.一种跨数据中心的数据传输处理系统，其特征在于，包括：

数据产生层设备、数据中转层设备和数据处理层设备；其中：

数据产生层设备，用于产生日志数据，将日志数据传输至数据中转层设备；

数据中转层设备，用于在接收到日志数据后，在从数据处理层设备获得的字典库中查找日志数据的标识，用查找到的标识对日志数据进行替换，所述字典库中存储日志数据与标识的唯一对应关系；将标识替换后的日志数据传输至数据处理层设备；

数据处理层设备，用于提供所述字典库，接收标识替换后的日志数据；

数据产生层包括WEB服务器、终端服务器；数据中转层包括数据中转服务器；数据处理层包括分布式集群节点。

7.如权利要求6所述的系统，其特征在于，数据中转层设备还用于在所述字典库中未查找到日志数据的标识时，保留原日志数据并传输至数据处理层设备；

数据处理层设备还用于将未进行标识替换的日志数据补充至字典库中，并为该日志数据分配标识，存储该日志数据与标识的唯一对应关系；将更新后的字典库同步至数据中转层设备。

8.如权利要求6或7所述的系统，其特征在于，数据处理层设备具体用于通过如下方式为日志数据分配标识并在字典库中存储日志数据与标识的唯一对应关系：

对日志数据取哈希值，将该哈希值与字典库中已有数据进行对比；

若字典库中不存在该哈希值，则将该日志数据补充至字典库中；

取字典库中的已有标识的最大值加1，作为该日志数据的标识进行存储。

9.如权利要求6或7所述的系统，其特征在于，数据处理层设备具体用于建立多个字典库，对不同日志数据与标识的唯一对应关系进行存储；

数据中转层设备具体用于对包含长字符串信息的日志数据进行标识替换时，从多个字典库中查找长字符串信息中不同日志数据的标识，以标识拼接的方式替换日志数据中的长字符串信息。

10.如权利要求6或7所述的系统，其特征在于，数据处理层具体用于：建立组合字段字典库，所述组合字段字典库存储日志数据字段的组合与标识的组合的唯一对应关系。