[发明专利]基于经验特征与卷积神经网络的数据流异常检测系统

说明书

本发明公开了一种基于经验特征与卷积神经网络的数据流异常检测系统。包括经验特征提取模块，用于识别数据包异常识别作用较大的统计特征和包头特征作为基于人工经验的特征；比特流转化图片模块，用于将数据流转化为二维灰度图片的形式，再通过卷积神经网络感知，提取全局的高层感知特征；融合拼接模块，用于融合上述模块作为数据流特征，利用神经网络的全连接层进行异常数据流识别；蒸馏模型模块，在实际部署时替代复杂网络；概念漂移微调模块，对概念漂移更新检测模型；更新经验数据库模块，将新的网络攻击或是隐藏攻击指令加入人工经验数据库。本发明准确高效地对网络故障、用户误操作、网络攻击等异常行为进行检测。

技术领域

本发明涉及一种信息安全技术，具体来说是一种基于经验特征与卷积神经网络的数据流异常检测系统。

背景技术

随着互联网的飞速发展与广泛应用，网络攻击行为、网络故障等事件日趋频繁，网络空间域的信息安全对个人生活、经济社会稳定、甚至国家安全的重要性与日俱增。在网络空间中，攻击行为绝大多数以网络数据流为载体，例如DOS等拒绝服务攻击、木马、蠕虫病毒等；而异常事件例如1.21DNS解析故障事件，网络的故障也会第一时间反映在网络数据流的状态上。因此以观察网络数据流的模式进行异常检测为核心的数据流异常检测技术已成为信息安全领域的重要技术。

近年来随着大数据技术的发展，大规模数据能够进行有效的采集、存储；随着人工智能与机器学习技术的发展，海量数据能够有效进行分析处理获得模型。因此，基于机器学习的数据流异常检测技术日益完善。基于机器学习的方法核心部分在于：特征的选取和分类器的训练。

对于特征选取，由于网络数据流具有高维性，目前已有的方法主要有以下两种：一是利用网络数据流各个数据包的统计特征和以及各个数据包包头中特定字段信息，此种方法避免分析各个数据包的载荷和其他包头字段信息，因此较为直接快速。但由于网络攻击行为中，黑客往往会对其攻击进行隐藏，例如利用载荷放置攻击代码或将攻击代码隐藏在不常用的字段中，因此对非配合主动攻击行为往往漏检率较高。二是对数据流的所有信息进行分析，但由于数据流的高维性造成的维度灾难会造成机器学习方法准确率的下降，只能采取匹配的方式，全局数据处理也会造成消耗计算资源多，时间效率低的问题，不符合数据流异常检测的实时性要求。

对于分类器的选择，传统的决策树、支持向量机和贝叶斯分类都被提出用于数据流异常检测领域。由于网络数据流具有动态性，易发生数据漂移，此种情况下原有模型不符合新的数据分布，传统的方法往往需要重新训练新的模型，因此难以满足数据流异常检测的实时性要求。

海量的网络数据不断涌入，因此数据流检测对实时性的要求较高，而现有的对网络数据流的全部信息进行检查的算法都需要较大计算量和处理时间，难以大规模部署。

发明内容

1、发明目的。

本发明提出一种基于深度学习的同时利用传统人工经验特征与深度全局特征的网络数据流异常检测系统，能够准确检测异常网络数据流。

2、本发明所采用的技术方案。

本发明提出了一种基于经验特征与卷积神经网络的数据流异常检测系统，包括：

经验特征提取模块，用于识别数据包异常识别作用较大的统计特征和包头特征共同作为基于人工经验的特征，并训练基于人工经验特征的SVM分类器；

为有效发现网络攻击数据流中被攻击者故意隐藏在大量载荷和非常见包头字段中的攻击指令。比特流转化图片模块，用于将数据流从01比特的形式转化为二维灰度图片的形式，再通过卷积神经网络对其进行感知，提取全局的高层感知特征；

融合拼接模块，用于融合拼接经验特征提取模块和比特流转化图片模块的基于深度学习的全局特征作为数据流特征，利用神经网络的全连接层进行异常数据流识别；