[发明专利]一种从大数据中提取用于网络安全的训练数据方法和装置

权利要求书

1.一种从大数据中提取用于网络安全的训练数据方法，其特征在于，包括：

步骤S102，抓取来自网络的数据包并进行缓存；其中，抓取并进行缓存的时候设定一个时间长度，该时间长度是步骤S106中的预定时长或者比步骤S106中的预定时长更长，在所述时间长度内的数据包均进行缓存，在所述时间长度内没有接收到防火墙发送的用于指示防火墙受到网络攻击的情况下，丢弃在所述时间长度之前的缓存的所有数据包；在所述时间长度内没有受到网络攻击的情况下，将所述时间长度内的所有数据包分为N组，所述N组中的每一组数据包均配置上标签，所述标签用于指示该组数据包不包括用于网络攻击的数据包，将所述N组数据包也发送至训练数据服务器进行训练；

步骤S104，获取防火墙的判断结果，以及所述判断结果发生的第一时间，其中，所述判断结果用于指示所述防火墙受到网络攻击；

步骤S106，从缓存的数据包中获取从所述第一时间开始向前的预定时长内的所有数据包；

步骤S108，将获取到的所有数据包按照接收数据包的时间先后进行排序；

步骤S110，将排序后的数据包作为一组数据包，并为所述一组数据包打上标签，其中，所述标签用于指示该组数据包的出现伴随了网络攻击的发生；其中，判断所述一组数据包中的数据包的个数是否超过预定数量，在超过所述预定数量的情况下，获取排序后的数据包中的每个数据包的源网络地址和端口，将所述源网络地址和端口在白名单中的数据包从所述排序后的数据包中进行删除，将删除后的一组数据包打上所述标签，其中，所述白名单中保存的源网络地址和端口为安全的网络地址和端口，所述白名单中保存的源网络地址和端口为预先配置的；

步骤S112，将所述一组数据包和所述标签作为训练数据进行保存；其中，获取训练数据服务器的网络地址；根据所述网络地址将所述一组数据包和所述标签作为一组训练数据发送至所述训练数据服务器进行保存；

所述训练数据服务器判断其接收的训练数据的组数是否超过阈值，其中，所述阈值为预先配置的；

所述训练数据服务器在所述训练数据的组数超过所述阈值的情况下，将保存的所有训练数据发送至机器学习服务器进行训练；

在机器学习模型在训练收敛之后，直接输入一组数据包，则判断出该组数据包是否出现网络攻击；获取多维度数据，其中，所述多维度数据是判断是否出现网络攻击的一组数据包，并根据该组数据包计算得到的流量；对获取到的所述多维度数据进行预处理，生成待分析数据；对所述待分析数据进行分析并生成预警报告，所述预警报告用于预告威胁；对所述待分析数据分析并生成预警报告至少包括：态势感知、实时分析预警或网络入侵攻击路径及威胁溯源分析；所述态势感知包括使用机器学习从所述待分析数据中提取正常网络状态下的流量上限，其中，根据多组未发生网络攻击的数据包的大小得到正常网络状态下流量的上限，根据所述流量上限从所述待分析数据中划分出信任的流量数据，根据所述信任的流量数据建立流量评估模型，根据所述流量评估模型评估网络流量，如果监测到异常流量则生成所述预警报告；所述实时分析预警用于对所述待分析数据中的异常数据进行预警。

2.根据权利要求1所述的方法，其特征在于，将所述一组训练数据发送至所述训练数据服务器进行保存之后，所述方法还包括：

清空缓存的所有数据包，并重新开始抓取数据并进行缓存。