[发明专利]基于变分LSTM的高维特征提取方法、系统、设备及介质

说明书

本公开实施例中提供了一种基于变分LSTM的高维特征提取方法、系统、设备及介质，属于数据处理技术领域，具体包括：获取原始流量数据，其中，所述原始流量数据包括网络流量数据和攻击流量数据；对所述原始流量数据进行预处理，降低数据复杂度得到中间流量数据；利用变分贝叶斯算法对所述中间流量数据进行压缩，得到隐藏变量；根据所述隐藏变量提取所述网络流量数据和所述攻击流量数据中对应的关键特征。通过本公开的方案，对原始流量数据进行预处理后，利用变分贝叶斯算法对流量特征进行压缩，并尽可能保留异常数据的关键特征，提高了高维特征提取的有效性和精准度。

技术领域

本公开实施例涉及数据处理技术领域，尤其涉及一种基于变分LSTM的高维特征提取方法、系统、设备及介质。

背景技术

目前，异常检测系统是一种应用于工业大数据中异常流量数据的实时检测系统。系统通过工业大数据网络中的流量进行分析，在异常入侵者破坏物联网核心基础设施之前将其检测出来并阻止其造成危害后果。网络入侵检测是对工业网络的入侵事件或异常进行监控和检测是维护工业互联网中不可或缺的一项技术。

由于机器学习和深度学习的高速发展，基于异常的入侵检测越来越受到重视，其通过对正常的系统行为和异常的入侵行为进行建模，从而对异常入侵行为进行识别。入侵检测系统中数据的不平衡性(正常的网络流量往往多于异常的攻击流量)、数据特征维度高导致模型计算复杂度巨大将直接影响工业大数据异常检测的准确性，然而目前的机器学习和深度学习检测方案存在着一些不能忽略的技术问题：

通过机器学习和深度学习方法针对大量高维的工业互联网数据进行可靠的异常入侵检测尚不成熟。为了减少高维数据问题造成的计算复杂性，传统方法通常在潜在的低维空间中使用两阶段的实现：高维数据降维和特征提取。虽然这种方法可以在一定程度上解决数据维度和数据数量造成的计算复杂性问题，但是得到的低维特征很多是无意义的，对提升异常入侵检测的准确性有很强的局限性。

可见，亟需一种高效精准的基于变分LSTM的高维特征提取方法。

发明内容

有鉴于此，本公开实施例提供一种基于变分LSTM的高维特征提取方法、系统、设备及介质，至少部分解决现有技术中存在无法更精准提取有意义的关键特征数据的问题。

第一方面，本公开实施例提供了一种基于变分LSTM的高维特征提取方法，包括：

获取原始流量数据，其中，所述原始流量数据包括网络流量数据和攻击流量数据；

对所述原始流量数据进行预处理，降低数据复杂度得到中间流量数据；

利用变分贝叶斯算法对所述中间流量数据进行压缩，得到隐藏变量；

根据所述隐藏变量提取所述网络流量数据和所述攻击流量数据中对应的关键特征。

根据本公开实施例的一种具体实现方式，所述对所述原始流量数据进行预处理，降低数据复杂度得到中间流量数据的步骤，包括：

分别对所述网络流量数据和所述攻击流量数据进行符号特征数字化操作、类型标签数字化操作和数据正则化操作；

将处理后的网络流量数据和处理后的攻击流量数据形成所述中间流量数据。

根据本公开实施例的一种具体实现方式，所述利用变分贝叶斯算法对所述中间流量数据进行压缩，得到隐藏变量的步骤，包括：

将所述中间流量数据输入LSTM编码器和前馈神经网络进行编码，得到均值矩阵和协方差矩阵；

将所述均值矩阵和所述协方差矩阵代入所述变分贝叶斯算法，并利用变分重参数化构建低维特征矩阵；

将所述低维特征矩阵作为所述隐藏变量。