[发明专利]一种基于深度学习技术的流量数据自动检测方法及装置

说明书

本发明公开了一种基于深度学习技术的流量数据自动检测方法及装置，所述检测方法如下：步骤一：系统对数据链路层的数据流进行监听和捕获，同时，采用web服务支持外部流量数据接入功能，系统对捕获的原始数据信息流进行数据清洗，除去冗余和非必须信息；步骤二：在分组捕获目标数据流量后，对原始数据流进行数据预处理，即是从原始流量至深度神经网络输入数据的处理过程。本发明鉴于安全威胁流量通过网络交互实现破坏任务的特点，采用流检测技术以数据流为基本研究对象，在捕获的数据链路层流量后，通过自动化选取与分析数据流传输的统计特征，能有效减轻系统的处理负担，为确定网络安全威胁提供有力支持。

技术领域

本发明涉及流量检测技术领域，具体为一种基于深度学习技术的流量数据自动检测方法及装置。

背景技术

随着信息技术的不断发展，互联网数据逐渐成为人民生活的重要基础资源，随之而来的网络安全正面临着日益严峻的挑战。网络流量检测技术作为最重要的防护技术之一，通过建立网络访问行为基准来识别网络异常行为，通用性较强，在入侵检测、网络攻击、欺诈窃密检测等领域具有广泛的应用。然而，传统的流量数据自动检测方法大多集中于使用检测特定数据包载荷、匹配木马特征库或者网络协议划分等方法，这些技术依赖于木马检测专家经验的判断，缺乏泛化能力，难以应对日趋复杂的木马技术和网络环境，检测准确率低，缺乏实用性。基于深度学习技术的流量数据检测处理方法与装置，支持流量数据自动化处理和智能化威胁检测，分别对应安全威胁流量、不确定流量和安全流量，能够为流量威胁识别提供有力支持。

发明内容

本发明的目的在于提供一种基于深度学习技术的流量数据自动检测方法及装置，解决了背景技术中所提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于深度学习技术的流量数据自动检测方法，所述检测方法如下：

步骤一：系统对数据链路层的数据流进行监听和捕获，同时，采用web服务支持外部流量数据接入功能，系统对捕获的原始数据信息流进行数据清洗，除去冗余和非必须信息；

步骤二：在分组捕获目标数据流量后，对原始数据流进行数据预处理，即是从原始流量至深度神经网络输入数据的处理过程；

步骤三：包括对流量数据用深度学习方法进行训练和进行识别的两个过程；识别出安全威胁流量、不确定流量和安全流量，实现流量准入控制；

步骤四：利用训练好的模型对网络流量检测,识别出安全威胁流量、不确定流量和安全流量，实现流量准入控制。

作为本发明的一种优选实施方式，所述步骤一包括如下子步骤：

(1.1)、对于本网络系统的流经数据包，系统在网络出口处将网卡设置为混杂模式，这种模式能够接受所有流经本地的流量数据包，数据包采集业务系统工作流程如下：

第一：初始化数据包采集环境，设定采集的数据包大小、可用CPU数量、多线程池的大小；

第二：建立系统内存缓冲区，接受到的数据包将会被拷贝到套接字缓冲区，并供系统用户层通过调用系统函数mmap访问；

第三：使用多线程循环不断查询各端口并接收流量数据包，再采用自定义的包处理函数，过滤掉不属于本网络的冗余信息；

第四：最后输出pcap格式的标准流量数据包集合。

(1.2)、对于外部提供的数据包，向外部数据源提供API回调接口，通过web服务获取流量数据集合，并提取流量集合中某单一应用的数据流量，包含该应用的使用所有协议层次数据流。

(1.3)、将数据流量与系统中已有流量集合进行逐条比对，

若该数据包已经存在于系统中，则对同一应用产生的流量，进行合并处理，并选取最新时间戳版本覆盖该数据流的旧版本。