[发明专利]一种云架构下网络数据稳定采集方法

摘要

本发明涉及一种云架构下网络数据稳定采集方法，其中，包括：OPENVSWITCH虚拟交换机对OVS核心态流表的匹配及更新，并保留OpenvSwitch对Openflow上层协议的支持，进行硬件与OVS用户态之间的流表的访问；kafka消息队列集群采集OPENVSWITCH虚拟交换机中发送的网络数据，在kafka消息队列集群中进行数据分片，并设置多个数据流量接口，进行负载均衡；对KAFA集群的写入量、积压量、消费量以及ISR列表，进行监控，同时对OPENVSWITCHE虚拟交换机进行流量监控；进行kafka集群吞吐量优化。本发明提出一种云架构下网络数据稳定采集方法，对云架构下三层体系结构统筹规划，分别做出了优化，利用机器学习算法最大限度发挥硬件的性能，有效改善云架构下的网络性能，保证网络数采集的稳定性。

主权项

1.一种云架构下网络数据稳定采集方法，其特征在于，包括：OPENVSWITCH虚拟交换机对OVS核心态流表的匹配及更新，并保留OpenvSwitch对Openflow上层协议的支持，进行硬件与OVS用户态之间的流表的访问；kafka消息队列集群采集OPENVSWITCH虚拟交换机中发送的网络数据，在kafka消息队列集群中进行数据分片，并设置多个数据流量接口，进行负载均衡；对KAFA集群的写入量、积压量、消费量以及ISR列表，进行监控，同时对OPENVSWITCHE虚拟交换机进行流量监控；进行kafka集群吞吐量优化包括：将与Kafka性能无关的特征筛选掉，完成特征初步筛选；根据每个特征对性能的影响程度级别进行特征再次筛选；获得了特征的样本集合之后，搭建Kafka服务器集群作为测试平台，编写代码，并依次修改样本集合中的特征值进行测试，获取每个样本对应的吞吐量；将获得的样本集合与实验获得的吞吐量合并作为一个新的样本集合，通过SVM算法进行学习，并进一步挑选特征值，获得预测模型，验证预测模型的误差值，如果误差值大于一定阈值，则生成新的样本集合并进行实验获得对应的吞吐量，然后重新学习，直到满足误差要求为止；并得到Kafka性能与特征之间的初步预测模型，然后通过加入特征之间相关性与特征边界，重复进行SVM学习，从而得到最终性能预测模型；将预测模型代入到遗传算法中，获得最优解，完成kafka集群吞吐量优化。