[发明专利]一种基于均匀采样的网络冗余流量识别方法

说明书

技术领域

本发明属于网络流量管理技术领域，更为具体地讲，涉及一种基于均匀采样的网络冗余流量识别方法，用于识别网络流量中的冗余部分。

背景技术

受用户兴趣模型驱动，边缘网络中具有相同兴趣的用户访问相似或相同主题的网络资源必然造成大量重复数据传输，形成特定链路相关的冗余流量。冗余流量的存在不仅损耗链路带宽资源利用率，而且影响用户访问网络资源的体验感，在一定程度上打击用户积极性。

有效识别网络中的冗余流量是研究冗余流量成因和其带来的一系列并发问题的关键。传统的WEB缓存技术基于对象层识别冗余流量，但是不同应用需要重新设计对应的缓存细节，缺乏应用的灵活性。

近年来，基于数据包层的MODP、MAXP、SAMPBYTE和DYNABYTE方法陆续被提出，而且也取得了较好的识别效率。其中MODP基于Rabin多项式方法计算连续数据分块指纹并按指纹值取模为0的策略采样特征指纹，存在采样不均匀和零采样缺陷。MAXP基于固定大小的窗口均匀分块选择最大值作为采样特征指纹，克服了MODP采样不均匀问题，但是不能很好地跟踪真实流量中高频冗余数据块的动态特征。SAMPBYTE和DYNABYTE从统计学角度出发，通过训练样本选择冗余块的典型代表首字符作为采样特征。DYNABYTE的实现细节较SAMPBYTE增加了采样特征的动态调整功能，在一定程度上实现了对真实流量中高频冗余块的动态跟踪能力。但是，SAMPBYTE和DYNABYTE基于样本训练选择特征指纹的方案受样本数据选择的影响较大，部署的灵活性受限。以上方法在均匀采样和高频冗余块动态跟踪两方面都没能很好地同时兼顾。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于均匀采样的网络冗余流量识别方法，在解决真实网络环境中冗余流量的识别问题的同时，兼顾特征指纹的均匀采样和高频冗余块动态跟踪的能力，以提高冗余流量识别的有效性和识别率。

为实现上述目的，本发明基于均匀采样的网络冗余流量识别方法，其特征在于，包括以下步骤：

(1)、特征指纹均匀采样

1.1)、对接收的第一个数据包负载t₁,t₂,t₃...t_n，按Ω大小的滑动窗口，从起始位置滑动，一个字节为步进，对该数据包负载进行划分，得到连续的大小为Ω的n-Ω+1个数据块t₁,t₂,t₃,...,t_Ω、t₂,t₃,t₄,...,t_Ω+1、…、t_n-Ω+1,t_n-Ω+2,t_n-Ω+3,...,t_n，其中，n为数据包负载字节数；

1.2)、对n-Ω+1个Ω大小的数据块，按Rabin多项式，计算数据块映射的特征指纹，数据块与特征指纹映射关系依次为：

H₁＝RF(t₁,t₂,t₃,...,t_Ω)＝(t₁p^Ω-1+t₂p^Ω-2+...+t_Ω-1p¹+t_Ωp⁰)modM

H₂＝RF(t₂,t₃,t₄,...,t_Ω+1)＝((RF(t₁,t₂,t₃...t_Ω)-t₁p^Ω-1)*p+t_Ω+1p⁰)modM           (1)

……