[发明专利]一种基于分布式系统的数据中心网络流量建模方法

摘要

本发明公开了一种基于分布式系统的数据中心网络流量建模方法，特征是通过在单节点上抓取、过滤和解析真实网络中的数据，建立分布式参数流量模型，节点间根据建模结果通过数据包的收发对网络中的流量进行重现、模拟和仿真。由于本发明在单节点上进行分布式建模，针对数据量庞大的网络分析能够有效地提升计算速度，从局部和总体上把握网络流量特征，有效的实现了对当前时刻采样网络流量的重现及其余时刻网络流量的模拟与仿真。

主权项

1.一种基于分布式系统的数据中心网络流量建模方法，针对数据中心内网络流量的建模，其特征在于：通过在单节点上抓取、过滤和解析真实网络中的数据，建立分布式参数流量模型，节点间根据建模结果通过数据包的收发对网络中的流量进行重现、模拟和仿真；具体操作步骤为：首先执行分布式流量提取，在主节点上进行整体文件的配置，并把文件分割成多个配置文件块将其发送给不同的子节点，主节点与子节点之间通过套接字(socket)通信，子节点接收到配置文件后根据配置要求执行抓包，当任务结束后进入套接字阻塞模式，等待配置文件更新执行下一次任务；然后执行分布式流量建模，在每个子节点上对抓取的数据包文件进行处理，依次实现了针对传输控制协议的协议解析和参数建模过程，将建模结果保存并上传至主节点；最后执行发包器模拟网络流量，根据保存的建模结果，通过概率分布模型产生对应的数据包形成模拟TCP流；在分布式流量提取的抓包阶段，只抓取带有TCP流的建立和释放信息的数据包，并在此基础上形成以单节点流量建模为核心的分布式系统网络流量建模方法；其中单节点流量建模具体包括以下步骤：首先执行数据流文件解析步骤，将带有同步标志位的数据包作为TCP流的建立信息，带有结束标志位的数据包作为TCP流的释放信息，根据TCP协议三次握手原理对数据流进行过滤及参数解析，解析结果包括每条TCP流的源地址、目的地址、发送端口、开始时间、持续时长、流大小和与上一条流的间隔时间，解析结果以文本形式保存在子节点，并将该解析结果直接用于对当前采样时段网络流量的完全复制，实现网络流量的重现，同时进一步对样本数据的特征进行提取建模；然后执行TCP参数建模步骤，提取TCP流解析文件中三个特征参数：TCP流大小、TCP流间隔以及目的网际协议地址，把TCP流大小、TCP流间隔作为连续参数，采用累积分布函数建立概率模型，把目的IP地址作为离散参数，采用离散分布概率密度函数建立概率模型，其中累积分布函数曲线建模依次执行局部分段点选择、全局分段点选择、分段多项式建模和建模结果输出步骤；在所述局部分段点选择步骤中，提出一种拐点定义：该拐点在设定门限范围内前后线性模型发生变化，且与相邻拐点之间距离大于设定间隔阈值；遍历函数曲线上的所有数据点，把满足上述拐点定义的数据点标定为局部分段点；在所述全局分段点选择步骤中，将每一段局部分段点结果分别利用多项式模型中的一次模型、二次模型拟合，以拟合偏差小的结果作为衡量标准，将拟合偏差超过门限值的数据点作为全局分段点，同时将拟合曲线存在下降趋势的分段中点作为全局分段点，进一步将序列分段化，在局部分段点的基础上进行全局拐点更新；在所述分段多项式建模步骤中，根据更新后的分段结果，在每一段中分别采用一次、二次多项式模型对原始结果进行拟合，若段内数据点个数小于设定阈值，则作为离散点处理，若为非离散点段落则选择拟合误差最小的多项式模型作为代表该段模型的最优结果，所有模型的总和作为一个单节点上网络流量模型的最终结果；在所述建模结果输出步骤中，输出内容包括目的IP地址、目的IP地址分布、每段模型多项式系数、每段模型分段范围、每段模型概率分布以及每段模型段内采样点数，以文本形式分别将TCP流大小、TCP流间隔和目的IP地址的建模结果保存在子节点中；最后通过其交互目的地址的离散分布映射相应的比例关系产生每条TCP流的目的IP，再根据流大小及流间隔的TCP参数模型结果产生相应的TCP流，最终实现网络流量的模拟与仿真。