[发明专利]数据中心间透明实时流量压缩方法和系统

说明书

技术领域

本发明涉及计算机技术领域，特别涉及一种数据中心间透明实时流量压缩方法和系统。

背景技术

在量级为10Gbps的高速链路下，数据包的实时压缩将面临很大挑战，下面分三个层面对实时压缩的挑战进行说明。

（一）、在系统实现中，一般采用硬件加速设备辅助卸载（Offload）系统处理压力，然而，作为外设的加速设备在参与系统交互时，将面临巨额的系统开销，例如I/O效率（包括PCIe带宽利用效率、高延迟的设备寄存器访存优化等）、操作系统开销（包括系统调用开销，内核态与用户态数据包拷贝开销等）。

（二）、在通用多核平台下，10Gbps量级线速处理需求必然导致并发设计。根据Amdahl定律，系统串行部分将最终将制约系统的并发加速比。因此，优化并发设计至关重要。然而，目前部分压缩卡驱动从硬件和驱动两个层面均未能很好的应用于高速并发的处理场景。虽然增大待压缩数据包长度可以优化压缩设备的效率，但同时也增加了额外数据包的处理延。基于阻塞式的I/O通信模式不能充分驾驭通用处理器与加速设备之间的并发处理效率。

（三）、在网络设计层面，透明化压缩设计需要满足对称式的压缩/解压缩部署。这带来了如何最大程度利用应用特性，依据不同应用的数据冗余特性进行不同策略的压缩处理的问题。一般为了优化压缩带宽和压缩效率，采用多包聚集同时压缩，但是潜在的IP网络的不可靠性造成的丢包可能会同时影响多业务的TCP性能，因此优化丢包导致的性能损失也至关重要。设计时还要考虑如何自适应的进行控制。为了传输多包聚集同时压缩后的数据包，还需要重新封装报文头部，但是传统的tunnel模式导致的流单一特性可能会影响数据包在数据中心核心层的传输效率，因此如何设计高效的tunnel系统也至关重要。

现有技术一般主要用于高延迟的传输链路，如卫星链路中。由于无数据中心间的高带宽需求，因此没有对压缩引擎的系统开销进行优化的专利和技术。

现有的压缩技术中，为了提高压缩效率，采用了基于数据块（block）的压缩配置，多个数据包一起参与压缩。采用虚拟链路方法实现数据包的透明压缩，压缩后的数据报文在虚拟链路中传输，压缩解压缩分别对应虚拟链路两端，因此实现了透明压缩。

现有技术有如下缺点：

（一）、现有基于block压缩的压缩技术虽然一定程度提高加速设备的压缩效率，但是没有细粒度的控制，这在一定程度上增加了丢包等异常对网络性能的影响。例如可能同时影响到多个TCP流，或者同时影响到多个业务性能。此外，没有细粒度的控制，很难挖掘不同TCP流和不同业务的数据冗余特性，导致压缩效率有限。

（二）、在数据中心核心网络中，单一的虚拟链路可能导致高速流量不能充分驾驭基础网络。

（三）、没有高吞吐量设计需求，因此很难体现系统开销，尤其在基于通用多核的并行化平台对应用加速中更难体现。万兆（10Gbps）量级的高性能实时系统设计，需要优化系统开销，尤其侧重于高效的并行策略优化。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。

为此，本发明的一个目的在于提出一种数据中心间透明实时流量压缩方法。本方法压缩特定业务的冗余信息，充分挖掘数据中心间传输链路的带宽利用率，优化系统开销，灵活性好，效率高，性能优势明显。

本发明的第二个目的在于提出一种数据中心间透明实时流量压缩系统。

为达到上述目的，本发明第一方面的实施例提出了一种数据中心间透明实时流量压缩方法。包括如下步骤：对数据流进行基于流的细粒度压缩，包括：根据数据流的端口属性对所述数据流进行基于流划分的对应的压缩策略进行压缩以获得多个压缩数据块；根据所述多个压缩数据块的流类型，将多个流类型的压缩数据块分别通过不同的隧道同时传输，其中，采用批处理策略和局部缓冲池方法对所述压缩数据块进行传输。

根据本发明实施例的数据中心间透明实时流量压缩方法采用了细粒度控制的优化策略，根据承载的应用属性进行更细粒度的性能优化，压缩特定业务的冗余信息，充分挖掘数据中心间带宽资源，提高带宽利用率，优化成本,减少不可靠网络导致丢包现象的影响，提供了灵活性和性能优势。优化输性能。在数据中心网络中，为了提高网络传输效率和冗余，不同流数据包可以经过不同的路由路径同时传播，提高了传播效率，优化系统开销。

在本发明的一个实施例中，所述隧道的量级与所述数据流的数据包的量级相等。优化了隧道设计。多隧道模式设计优化了限制，充分利用了数据中心网络的带宽。