[发明专利]一种基于LDA机器学习的网络安全威胁分析方法及系统

说明书

本发明公开了一种基于文档主题生成模型(LDA)机器学习的网络安全威胁分析方法及系统，包括如下步骤：步骤1、在数据采集模块中，根据具体应用场景，对不同类型的网络流量进行数据采集。步骤2、在机器学习计算模块中，使用LDA主题模型机器学习算法，来计算网络连接的异常概率。步骤3、在运营分析模块中，结合威胁情报数据库，使用基于信誉度检测的方法，来检测可疑网络连接的攻击类型。本发明提出的基于LDA机器学习的网络安全威胁分析方法及系统可以有效地侦测出可疑连接、异常流量和未知攻击。

技术领域

本发明涉及网络安全领域，更具体地，特别是指一种基于文档主题生成模型(LDA)机器学习的网络安全威胁分析方法及系统。

背景技术

由于信息技术的高速发展，互联网已经成为人们日常生活、工作中不可缺少的工具。但随之而来的问题是，网络空间的广泛脆弱性将使之面临网络安全威胁形势。

现有网络安全技术以漏洞为中心，基于特征进行网络安全检测，将网络流量与特征进行比对，可以有效的检测已知漏洞或已知的网络攻击行为。

但是这种方法依赖于特征规则库，需要不断更新，而且这种检测无法对未知的威胁或攻击形成有效防范。而新的攻击手段、新的漏洞层出不穷，传统的网络安全方案面对这些新型的网络攻击，其效果有限。

此外，当前已进入云计算大数据时代，网络流量快速增长，海量的网络流量数据，方便了网络攻击者对攻击流量的隐藏，也大大提高了安全分析的难度，超出了传统网络安全检测技术的处理能力。

如上所述，基于特征规则库的网络异常检测方法依赖于规则库，需要更新维护，且无法对未知的异常流量攻击形成有效防范。

关于LDA主题分布机器学习方面，几乎所有先前的方法都隐含假设主题数是事先知道的，这些方法包括潜在语义分析(LSA)，概率潜在语义分析(PLSA)，非负矩阵分解算法(NNMF)，它们将潜在主题模拟成概率分布或者主题空间的基向量集合。而这些方法的准确度对主题数较敏感，当针对少量的语料库预估主题数时可能还较容易，但当语料库的规模变得庞大时预估主题数就不切实际了。

发明内容

针对这些问题，本发明利用机器学习LDA主题模型算法，采用无监督机器学习技术，进行异常流量侦测，并结合云计算大数据处理技术，有效地从海量的网络流量中检测出可疑连接异常流量和未知攻击。此外，本方案通过特定的计算方法，事先确定LDA模型主题数，获取准确度，简化模型训练过程又更具合理性。

基于上述阐述的内容及所要解决的技术问题，本发明提供了一种基于 LDA机器学习的网络安全威胁分析系统和方法，其中：

提供了一种基于LDA机器学习的网络安全威胁分析系统，包括数据采集模块、机器学习计算模块、运营分析模块以及数据存储仓库：

数据采集模块分别与机器学习计算模块和数据存储仓库通讯地连接，数据采集模块被配置为根据具体应用场景对不同类型的网络流量进行数据采集；

机器学习计算模块接收采集到的数据并使用LDA主题模型机器学习算法计算网络连接的异常概率；

运营分析模块与机器学习计算模块通讯地连接并接收异常概率，并从数据存储仓库获取威胁情报数据，基于异常概率及威胁情报数据并通过信誉度检测的方法检测可疑网络连接的攻击类型并输出结果。

根据本发明的一个实施例，基于LDA机器学习的网络安全威胁分析系统还包括：

预处理模块，预处理模块通讯地连接数据采集模块和数据仓库，用于对采集到的网络数据进行数据预处理，并将处理后的数据存储到数据仓库中。

根据本发明的一个实施例，机器学习计算模块中包括以下子模块：

主题建模子模块，用于对每个IP文档进行LDA主题建模，得到文档主题和主题词语的初始分布；