[发明专利]用于网络健康状况建模分析的网络数据采集方法

说明书

本发明公开了一种用于网络健康状况建模分析的网络数据采集方法，涉及网络健康分析技术领域，在硬件增加了控制主机，网络数据采集包括：通过wireshark从受控主机采集网络节点连接信息数据，并将其解析为json格式后存入数据库中；从受控主机采集网络节点状态信息数据，并将其解析为json格式后存入数据库中；从数据库中调取对应相同时间段和主机ip的json格式的网络节点连接信息和网络节点状态信息数据进行拼接后重新存入数据库中，供网络健康状况分析时调取。本发明网络改造成本低廉，其能够提供精准的网络数据支撑，方便后续使用机器学习的方法对网络数据进行建模分析。

技术领域

本发明涉及网络健康分析技术领域，具体而言，涉及一种用于网络健康状况建模分析的网络数据采集方法。

背景技术

在互联网的使用过程中，我们经常会遭遇各种各样的网络问题，所以能够快速对网络问题溯源就显的十分重要。随着机器学习模型的不断改进，网络健康状况的分析建模也有了更多的思路。对网络健康状态的分析建模需要大量的数据作为支撑，而当前的网络状态数据多是基于连接进行分析的，如ids2012、ids2017、ids2018和kdd99。上述数据集对某一次攻击的持续时间、使用协议、平均流量进行了统计。然而不同的网络问题具有不同的表现模式。例如DDos攻击采用大量的半连接占用带宽和主机资源；0Day漏洞可能采用反序列化代码注入的方式获取主机控制权，攻击初始阶段主机使用率可能并不高，攻击开始阶段则会执行恶意脚本，大量占用主机资源；网络拥塞也会出现网络资源使用率上升，但是使用率的上升是一个相对较长的过程；网络硬件出现问题(如网线断开)则会出现某一网卡传输突然中断而主机资源使用情况正常；人为关机会出现网络传输突然中断。单纯的捕获网络连接数据不能很好的区分人为关机、网线断开和DDos等网络拥塞的情况。传统数据集在搜集时没有充分利用主机资源使用情况，使得后续的分析难度较高，而且精准性较差。

发明内容

本发明在于提供一种用于网络健康状况建模分析的网络数据采集方法，其能够缓解上述问题。

为了缓解上述的问题，本发明采取的技术方案如下：

第一方面，本发明提供了一种用于网络健康状况建模分析的网络数据采集方法，包括以下步骤：

S1、通过wireshark从受控主机采集包含有网络节点连接信息的第一网络数据包，并将其解析为json格式的数据包后存入数据库中；

S2、从受控主机采集包含有网络节点状态信息的第二网络数据包，并将其解析为json格式的数据包后存入数据库中；

S3、从数据库中调取json格式的第一网络数据包和json格式的第二网络数据包，并拼接为json格式的组合网络数据包，所调取的第一网络数据包和第二网络数据包所对应的捕获时间段和主机ip均相同；

S4、将组合网络数据包存入数据库中，供网络健康状况分析时调取。

本技术方案的技术效果是：将采集到的网络节点状态信息和网络节点连接信息拼接融合后存入数据库中供网络健康状况分析时调取，为网络健康状态的分析和判断提供数据支撑，方便后续使用机器学习的方法对网络数据进行建模分析。

可选地，所述步骤S2中，第二网络数据包通过ansible采集，其通过ssh与受控主机通信。

本技术方案的技术效果是：ansible可以在局域网内部批量执行命令，完成局域网内部节点的数据收集任务，不需要在受控主机上安装客户端，降低了网络改造的成本。

可选地，所述第一网络数据包是实时采集的，所述第二网络数据包每隔3S采集一次。