[发明专利]一种从大数据中提取用于网络安全的训练数据方法和装置

说明书

本申请公开了一种从大数据中提取用于网络安全的训练数据方法和系统，该方法包括：抓取来自网络的数据包并进行缓存；获取防火墙的判断结果，以及判断结果发生的第一时间，其中，判断结果用于指示防火墙受到网络攻击；从缓存的数据包中获取从第一时间开始向前的预定时长内的所有数据包；将获取到的所有数据包按照接收数据包的时间先后进行排序；将排序后的数据包作为一组数据包，并为一组数据包打上标签，其中，标签用于指示该组数据包的出现伴随了网络攻击的发生；将一组数据包和标签作为训练数据进行保存。通过本申请解决了人工收集网络安全训练数据所导致的效率比较低的问题，从而提高了网络安全训练数据收集的效率。

技术领域

本申请涉及到网络安全领域，具体而言，涉及一种从大数据中提取用于网络安全的训练数据方法和系统。

背景技术

在现有技术中，一般是采用规则来判断是否发起了网络攻击。这种采用规则的判断方法需要规则的建立比较完善。这些规则都是靠人工来进行制定的。这依赖于制定规则的人的经验。

随着人工智能的发展，在网络安全领域希望使用机器学习的方式来代替人为规则的制定，但是机器学习的训练需要大量的训练数据，对于这些训练数据的收集目前均是靠人工进行收集和打标签，这种基于网络安全训练数据的收集方式效率比较低。

发明内容

本申请实施例提供了一种从大数据中提取用于网络安全的训练数据方法和系统，以至少解决人工收集网络安全训练数据所导致的效率比较低的问题。

根据本申请的一个方面，提供了一种从大数据中提取用于网络安全的训练数据方法，包括：抓取来自网络的数据包并进行缓存；获取防火墙的判断结果，以及所述判断结果发生的第一时间，其中，所述判断结果用于指示所述防火墙受到网络攻击；从缓存的数据包中获取从所述第一时间开始向前的预定时长内的所有数据包；将获取到的所有数据包按照接收数据包的时间先后进行排序；将排序后的数据包作为一组数据包，并为所述一组数据包打上标签，其中，所述标签用于指示该组数据包的出现伴随了网络攻击的发生；将所述一组数据包和所述标签作为训练数据进行保存。

进一步地，将所述一组数据包和所述标签作为训练数据进行保存包括：获取训练数据服务器的网络地址；根据所述网络地址将所述一组数据包和所述标签作为一组训练数据发送至所述训练数据服务器进行保存。

进一步地，所述方法还包括：所述训练数据服务器判断其接收的训练数据的组数是否超过阈值，其中，所述阈值为预先配置的；所述训练数据服务器在所述训练数据的组数超过所述阈值的情况下，将保存的所有训练数据发送至机器学习服务器进行训练。

进一步地，将所述一组训练数据发送至所述训练数据服务器进行保存之后，所述方法还包括：清空缓存的所有数据包，并重新开始抓取数据并进行缓存。

根据本申请的另一个方面，还提供了一种从大数据中提取用于网络安全的训练数据系统，包括：第一软件，其中，所述第一软件包括：抓取模块，用于抓取来自网络的数据包并进行缓存；第一获取模块，用于获取防火墙的判断结果，以及所述判断结果发生的第一时间，其中，所述判断结果用于指示所述防火墙受到网络攻击；第二获取模块，用于从缓存的数据包中获取从所述第一时间开始向前的预定时长内的所有数据包；排序模块，用于将获取到的所有数据包按照接收数据包的时间先后进行排序；标签模块，用于将排序后的数据包作为一组数据包，并为所述一组数据包打上标签，其中，所述标签用于指示该组数据包的出现伴随了网络攻击的发生；保存模块，用于将所述一组数据包和所述标签作为训练数据进行保存。

进一步地，所述保存模块用于：获取训练数据服务器的网络地址；根据所述网络地址将所述一组数据包和所述标签作为一组训练数据发送至所述训练数据服务器进行保存。

进一步地，还包括：训练数据服务器，其中，所述训练数据服务器用于判断其接收的训练数据的组数是否超过阈值，其中，所述阈值为预先配置的；所述训练数据服务器还用于在所述训练数据的组数超过所述阈值的情况下，将保存的所有训练数据发送至机器学习服务器进行训练。