[发明专利]一种结合威胁情报和机器学习的网络流量分析方法及系统

说明书

本发明提供一种结合威胁情报和机器学习的网络流量分析方法及系统，采集多种途径的数据信息，将其预处理为情报数据流，克服现有技术信息仅来源于本地发生的事件和行为，分析所述情报数据流与热门安全事件的关联，得出关键设备的安全态势值，进而通过模型预测网络的攻击来源和攻击路径，实现实时动态预测网络安全，更好地保护不同用户的业务数据。

技术领域

本申请涉及网络安全技术领域，尤其涉及一种结合威胁情报和机器学习的网络流量分析方法及系统。

背景技术

现有的流量分析方法和系统多为被动式、静态地使用规则对提取的关键词进行匹配，得出是否被攻击的结论。即使有一些网络攻击的预测，也只是根据自身网络的历史数据进行机器学习，预测的效果很差。

因此，急需一种可动态学习的网络流量分析方法和对应的系统。

发明内容

本发明的目的在于提供一种结合威胁情报和机器学习的网络流量分析方法及系统，采集多种途径的数据信息，将其预处理为情报数据流，分析所述情报数据流与热门安全事件的关联，得出关键设备的安全态势值，进而通过模型预测网络的攻击来源和攻击路径。

第一方面，本申请提供一种结合威胁情报和机器学习的网络流量分析方法，所述方法包括：

采集不同来源的传感器、节点设备、信息平台、网络设备的运行状态数据、IP数据、域名信息、URL信息、传输文件数据、数据库动态信息中的一种或若干种；

接收采集数据后，进行初始化处理，清除数据中冗余重复的信息，根据来源的类型，将数据初始化转换为统一的格式，分入对应的字段，合并成情报数据流；

其中，根据信息来源的历史记录，对不同的信息来源给出了不同的评分，当采集的信息出现冗余或重复时，优先采信评分的信息来源，如果后续环节验证信息为可用，则在原有评分基础上继续累计分值；

还可以根据预先设置的情报类型，侧重采集所述情报类型对应的信息，动态将与所述情报类型相关度低的信息设置为冗余信息，在初始化处理中清除；所述与所述情报类型相关度低为，采集到的信息的类型与预先设置的情报类型进行相关度计算，相关度的值低于阈值，则认定为相关度低；

从合并后的情报数据流中提取要素，发现要素中包括的行为动作、访问对象、来源者地址、瞬时流量大小中的一种或若干种，从中发掘高频项目组，根据高频项目组对应的信息生成高频关联规则，加大其对应的权重，将更新权重后的数据进行数据融合，组成树状结构；

其中，所述提取要素时还包括判断发现的要素是否与当前热门安全事件相关，如果是则在要素中标记热门安全事件摘要，并将多个与该热门安全事件相关的要素进行关联，进行数据融合，形成专门的数据条；

根据所述树状结构和专门的数据条，查询与单个关键设备地址相邻的资产态势信息，查询与单个关键设备的访问对象所属属性区域内的资产态势信息，以及查询与单个关键设备流量速度、流量总量相似的资产态势信息；

其中，属性区域为根据用户属性动态划分出的属性域，每个属性域与若干个关键设备建立关联关系，采用属性加密算法隔离不同属性域的边界，实现不同网络的边界访问控制，以及同一属性域内关键设备的授权访问；

判断单个关键设备是否存在与地址相邻相近资产相同的安全漏洞，判断单个关键设备的并发线程、带宽、网络拓扑、访问频率是否存在与所属同属性区域资产相同的报警，判断单个关键设备的流入量增长率、不同协议数据包分布比例、不同大小数据包分布比例是否存在与流量速度、流量总量相似资产相同的变化，计算单个关键设备的安全态势值；