[发明专利]一种基于LDA机器学习的网络安全威胁分析方法及系统

权利要求书

1.一种基于LDA机器学习的网络安全威胁分析方法，其特征在于，所述方法包括以下步骤：

步骤1、根据具体应用场景，对不同类型的网络流量进行数据采集；

步骤2、在所述步骤1之后，使用LDA主题模型机器学习算法，计算网络连接的异常概率；

步骤3、在通过所述步骤2计算网络连接的异常概率之后，结合威胁情报数据库，使用基于信誉度检测的方法，检测可疑网络连接的攻击类型，并对结果进行呈现。

2.根据权利要求1所述的基于LDA机器学习的网络安全威胁分析方法，其特征在于，所述步骤1还包括步骤1.1：

对采集到的网络数据进行数据预处理，所述数据预处理包括数据清洗、数据格式变换、特征提取、数据存储。

3.根据权利要求1所述的基于LDA机器学习的网络安全威胁分析方法，其特征在于，所述步骤2包括以下子步骤：

1)每个IP文档进行LDA主题建模，得到文档主题和主题词语的初始分布；

2)LDA模型通过采样的方法来更新矩阵。所述模型通过更新文档中每个词语的主题归属情况来调整模型的参数值，经过一系列的迭代计算后，LDA模型达到收敛状态，得到一组最佳参数值；

3)根据上述为每个IP地址网络行为建立的概率模型，为每一个网络事件计算一个概率值，其中概率值较低的网络事件标记为“可疑的”，便于做进一步分析；

4)根据子步骤3)，将概率值低于设定阈值的作为可疑网络连接列表。

4.根据权利要求1所述的基于LDA机器学习的网络安全威胁分析方法，其特征在于，所述步骤2中，对所述LDA模型进行主题建模前，还包括选取主题数的步骤，选取主题数时，采取以下方法：

针对不同主题数，分别计算下面式子对应的值，选取波谷所在位置对应的主题数，得到最佳主题数：

KL(C_M1||C_M2)+KL(C_M2||C_M1)

其中，C_M1是M1矩阵的奇异值分布，M1是主题-词语矩阵；

C_M2是将矢量L和矩阵M2的乘积，即L*M2进行归一化之后得到的分布，其中L是1*D维矢量，矢量中各元素为语料库中每个文档的长度，M2是文档-主题矩阵；

KL定义为

5.根据权利要求1所述的基于LDA机器学习的网络安全威胁分析方法，其特征在于，所述步骤3之后，将网络攻击行为的检测结果作可视化处理，进一步展示给用户；经过用户确认的反馈信息，反馈到机器学习异常计算模块。

6.一种基于LDA机器学习的网络安全威胁分析系统，其特征在于，包括数据采集模块、机器学习计算模块、运营分析模块以及数据存储仓库：

所述数据采集模块分别与所述机器学习计算模块和所述数据存储仓库通讯地连接，所述数据采集模块被配置为根据具体应用场景对不同类型的网络流量进行数据采集；

所述机器学习计算模块接收采集到的数据并使用所述LDA主题模型机器学习算法计算网络连接的异常概率；

所述运营分析模块与所述机器学习计算模块通讯地连接并接收所述异常概率，并结合获取的威胁情报数据，基于所述异常概率及所述威胁情报数据并通过信誉度检测的方法检测可疑网络连接的攻击类型并输出结果。

7.根据权利要求6所述的基于LDA机器学习的网络安全威胁分析系统，其特征在于，还包括：

预处理模块，所述预处理模块通讯地连接所述数据采集模块，用于对采集到的网络数据进行数据预处理，并将处理后的数据存储到所述数据存储仓库中。