[发明专利]跨数据中心的数据传输处理方法及系统

说明书

本发明公开一种跨数据中心的数据传输处理方法及系统，其中方法包括：数据产生层产生日志数据并传输至数据中转层；数据中转层在从数据处理层获得的字典库中查找日志数据的标识，用查找到的标识对日志数据进行替换，字典库中存储日志数据与标识的唯一对应关系；数据中转层将标识替换后的日志数据传输至数据处理层。进一步的，若数据中转层在字典库中未查找到日志数据的标识，则保留原日志数据并传输至数据处理层；数据处理层将未进行标识替换的日志数据补充至字典库中，并为该日志数据分配标识，存储该日志数据与标识的唯一对应关系，将更新后的字典库同步至数据中转层。本发明可以减少日志数据的传输量，节省传输带宽和传输耗时。

技术领域

本发明涉及计算机及通信技术领域，尤其涉及跨数据中心的数据传输处理方法及系统。

背景技术

Web2.0是一个架构在知识上的环境，人与人之间交互而产生出的内容，经由在服务导向架构中的程序，在这个环境被发布、管理和使用。相比Web1.0，它更注重用户之间的交互和体验。用户是内容的创建者，同时也是使用者。目前Web2.0具有代表性的服务包括：电商网络、资讯类、社区化网络(SNS，如人人网)、微博、微信、来往、健康、滴滴打车等等。Web2.0注重用户交互，一条微博发表后，通过不断转发、评论后，有可能产生GB级别的日志数据，这无疑给日志预传输带来新的挑战。

图1为现有技术中日志传输架构图。如图1所示，数据从产生端传输到数据处理层的处理方式如下：

数据产生层产生用户访问日志，对原始日志进行GZ压缩后，以某种传输协议(比如FTP、HTTP等)传输给数据中转层；数据产生层可以由WEB服务器构成，数据中转层可以由数据中转服务器构成；

如：1386562882.666 14XXX.XXX.XXX.XXX TCP_MEM_HIT/200 440 GET http://www.XXXXX.com/images/xxxxx.gif-NONE/-image/gifhttp://www.XXXXX.com/aaaa/440_176147XXX.htmMozilla/5.0(Windows NT 6.1；WOW64)AppleWebKit/537.1(KHTML,likeGecko)Chrome/21.0.1180.89Safari/537.1–

这是一条WEB端产生的完整的访问日志，WEB端产生后每5分钟的数据会生成一个.gz包(devicename_20140822.tar.gz)，然后通过某种传输协议(比如FTP、HTTP等)上传到数据中转服务器。

数据中转服务器接收到每5分钟产生的GZ包文件后，对这些文件做汇总后(比如把相同设备上的多个文件做合并后上传：devicename(设备名)相同的多个日志文件合并为一个gz文件)上传到数据处理层(由某种分布式存储或计算集群节点构成)中做统计分析使用。

然而，现有技术中，由于数据产生层的WEB服务器产生的日志量非常庞大，给传输带来了很高的带宽成本。并且，日志量大则需要的耗时就会很长，日志收集的时效性就会很低。

发明内容

本发明实施例提供一种跨数据中心的数据传输处理方法，用以减少日志数据的传输量，节省传输带宽和传输耗时，该方法包括：

数据产生层产生日志数据，将日志数据传输至数据中转层；

数据中转层接收到日志数据后，在从数据处理层获得的字典库中查找日志数据的标识，用查找到的标识对日志数据进行替换，所述字典库中存储日志数据与标识的唯一对应关系；

数据中转层将标识替换后的日志数据传输至数据处理层。

一个实施例中，若数据中转层在所述字典库中未查找到日志数据的标识，则保留原日志数据并传输至数据处理层；