[发明专利]一种针对关键数据流的改进数据分块方法

说明书

本发明公布了一种针对关键数据流的改进数据分块方法，是一种基于软件定义广域网的加速机制。本发明综合运用了固定分块算法、Bloom Filter算法和MD5算法，能满足SD‑WAN中不同数据流不同的加速传输需求，网络流量的负载均衡、数据流分类等功能。该方法可以针对不同的数据流采取不同的加速策略以及调度方案，以满足用户需求，实现网络利用率的最大化。

技术领域

本发明属于网络通信技术领域，尤其涉及一种针对关键数据流的改进数据分块方法

背景技术

SDN技术与广域网传输的结合提高了网络传输能力，如若将改进后的广域网加速技术融合到SD-WAN中，对于大文件传输或者重复数据传输来说传输效率将会有一个质的飞跃。传统的广域网加速方式对许多QoS需求低的数据流进行加速不仅没有必要，而且会影响一些重要数据流的传输，导致关键数据流传输质量得不到保证，为了满足SD-WAN中不同数据流不同的加速传输需求，网络流量的负载均衡、数据流分类以及加速机制的革新是需要解决的问题。

发明内容

一种针对关键数据流的改进数据分块方法，其特征在于包含如下步骤：

步骤(1)将广域网中传输的数据分为两类：关键数据流和非关键数据流。

所述的关键数据流类中包含多条不同类型的数据流，即关键数据流中的每条流都有一定的QoS需求，只是将它们归为一类，采用同一种加速策略。

所述的非关键数据流就是不带Qos需求的数据流。

步骤(2)输入关键数据流，对该关键数据流进行大小检测，若该数据大于4KB，则执行步骤(3)，否则不对该关键数据流做任何处理；

步骤(3)采用类似固定分块的技术将关键数据流均分为4KB大小的数据块，且仅记录下每个分块点的位置；

步骤(4)用256字节大小的滑动窗口从每个分块点的位置开始进行检测；实现方法如步骤(5)

步骤(5)计算其滑动窗口内的MD5指纹值，并将该MD5指纹值作为Bloom Filter过滤器的输入，若该指纹值通过Bloom Filter过滤器，说明该数据块是高频数据块，执行步骤(6)，若未通过，则执行步骤(7)；

步骤(6)将数据块的MD5指纹值在重复数据库中进行检测，若检测到，执行步骤(8)，否则执行步骤(9)；

所述的重复数据库就是每个MD5值对应一个原始数据块，当关键数据流压缩模块计算出的MD5值在重复数据库中进行检索时，检索成功则说明该数据块为重复数据块，在重复数据库中找到相对应的标签索引进行替换。

步骤(7)滑动窗口向后移一个字节，执行步骤(3)，直到遇到下一个分块点；

步骤(8)说明该数据块为重复数据块，用重复数据库中的该数据块的索引值替换该数据块，发送；

步骤(9)该数据块不是重复数据块，但是属于高频数据块，需要加入到重复数据库中；

步骤(10)重复步骤(5)，直到数据流结束。

本发明有益效果如下：

本发明综合运用了固定分块算法、Bloom Filter算法和MD5算法，能满足SD-WAN中不同数据流不同的加速传输需求，网络流量的负载均衡、数据流分类等功能。该方法可以针对不同的数据流采取不同的加速策略以及调度方案，以满足用户需求，实现网络利用率的最大化。具体体现如下：