[发明专利]集中式数据中心数据冗余消除方法

说明书

技术领域

本发明属于网络体系结构技术领域，特别涉及一种集中式数据中心数据冗余消除方法。

背景技术

近年来，作为企业的业务系统与数据资源进行集中、集成、共享、分析的场地、工具、流程等的有机组合的数据中心，随着云存储、云计算以及搜索引擎等新技术的兴起而迅速发展。由于数据中心强大的计算能力和可靠性等特征，越来越多的企业将自己的网络服务转移到数据中心。同时，随着个人应用需求的增加，数据中心也为个人提供各种计算和存储等网络服务。一方面为了满足日益增长的服务需求，数据中心的规模变得越来越大；另一方面，随着数据中心服务器间传输的数据量的迅速增加，数据中心中的带宽变得越来越稀缺。

传统的数据中心体系结构存在不足之处。其中一个问题就是传统的数据中心不能有效利用数据中心网络带宽。其中某些链路的拥塞造成整个网络带宽不能充分被利用，传统的数据中心网络体系结构没有从传输数据的相关性出发，在传输数据时对数据不加区分的进行发送，其中传输的很多数据都是冗余的。数据中心网络传输的数据的冗余性主要是由于：数据中心网络提供的网络应用的数据中，一些数据比另外一些数据更受欢迎，这种差别使得很多数据中心传输的数据是重复出现的，这些重复传输的数据造成了很大的数据冗余；数据中心使用的软件架构自身带来很多冗余，目前比较流行的MapReduce软件架构在数据中心网络中广泛使用，MapReduce软件架构为了提高并行性计算功能，网络数据以广播的方式给多个节点传输，这就造成在数据中心网络中相同的数据的多次发送，从而带来了数据中心网络传输数据的冗余性；数据中心网络中传输的数据的协议带来数据冗余，数据中心中传输的数据使用的协议与其他网络中传输的数据的协议是一致的，而这些协议传输的数据已经被证明具有很大的冗余性。综上所述，在数据中心传输的数据具有很大的冗余，在数据中心进行冗余消除具有很强的现实意义。

目前，针对网络中冗余数据的消除机制研究已经广泛开展，在较早的研究中，消除网络冗余数据通过网络缓存、代理服务器的方式，将在网络中已经传输的数据(这个文件)在离目的节点较近的设备上缓存下来，在相同的数据请求达到的时候，代理服务器将缓存的数据发送到请求服务器，从而达到降低网络流量的目的；Spring等人在2000年提出了协议无关冗余消除机制(protocol-independent RE)，通过这种方法，在网络中传输的数据间的冗余在更小的粒度(数据包层面或者数据块层面)被发现和消除，从而达到更好的冗余消除的效果；此后，更多的冗余消除机制被提出来，A.Muthitacharoen和S.Annapureddy等人研究了给予内容的命名机制；Anand等人提出了将冗余消除作为IP层的一种服务的冗余消除机制和协调缓存的冗余消除机制SmartRE；B.Aggarwall等人提出了端系统(End-system)冗余消除机制。但是在数据中心进行数据冗余消除研究还处于初步阶段，结合数据中心的特点进行冗余消除的机制研究还有待深入。

在实现本发明过程中，发明人发现现有的冗余消除机制应用到数据中心网络中至少存在以下不足：

1)现有的冗余消除技术没有考虑不同节点发送的数据之间的冗余性。在数据中心网络中，由于很多服务器提供的服务是相似的，因此不同的节点发送的数据之间存在大量的冗余。现有的冗余消除机制只考虑相同的服务器发送的数据之间的冗余性，不同的服务器发送的数据间的冗余不能被发现和消除。

2)现有的冗余消除机制没有充分考虑不同中间节点(路由器或交换机)缓存不同数据的效用的差别。不同的中间节点缓存不同的数据的效用是不同的，换句话说就是每个数据都有缓存它的最佳中间节点。现有的冗余消除机制要么没有考虑中间节点的缓存能力，从而每个节点都可以无限地缓存所有经过它的数据，要么采用简单的随机缓存和先进先出的缓存替换策略，这些方法都不能有效利用中间节点的缓存。

发明内容

为了克服上述现有技术的不足，本发明的目的在于提供一种集中式数据中心数据冗余消除方法，通过在传统的数据中心网络的中间节点(路由器或交换机)中增加缓存和在数据中心实现集中管理机制来实现，充分利用数据中心网络特点，有效降低链路负载。

为了实现上述目的，本发明采用的技术方案是：

集中式数据中心数据冗余消除方法，源服务器将数据通过中间节点发送至目标服务器，在所述中间节点增加缓存，传输数据时中间节点缓存已经传输的数据，从而在相同数据再次发送的时候可以先进行压缩编码，然后发送，在中间节点进行解码转发，完成数据传输，