[发明专利]数据挖掘方法及系统

说明书

本发明公开了一种数据挖掘方法及系统。该数据挖掘方法包括以下步骤：从多个数据来源获取原始数据包，并将其放入不同的分布式消息队列中；从消息队列中提取原始数据包，对提取的数据进行预处理；根据数据类型创建不同的分布式处理任务，其中包括原始数据包任务，原始数据包任务为将原始数据包解析产生索引信息和描述信息；将原始数据包中的数据与解析得到的索引信息分别存储到HBASE和搜索服务器，并将原始数据包中的数据及描述信息存储到数据库；从数据库中提取数据并进行数据挖掘。本发明的数据挖掘方法及系统基于网络数据能够高效地进行信息的收集、联动、汇聚、存储、挖掘，从而能够及时发现网络威胁，溯源攻击，保障网络数据安全。

技术领域

本发明涉及网络数据，尤其涉及一种数据挖掘方法及系统。

背景技术

近年来，网络空间的安全形势发生了巨大改变，网络攻击增长趋势呈指数级发展，并逐渐演变成了各种社会工程学攻击与各类0day漏洞利用的综合攻击，成为最具威胁的网络攻击方式,新型安全威胁技术手段的先进性、复杂度、隐蔽性和持续性，已经超出了传统网络安全技术的应对能力。为了适应新的安全形势，就需要基于网络数据构建一个信息收集、联动、汇聚、存储、挖掘的系统，来及时发现网络威胁，溯源攻击，保障企业安全。

发明内容

本发明要解决的技术问题是为了克服现有技术中缺乏基于网络数据进行信息收集、关联、汇聚、存储、挖掘从而及时发现网络威胁并保障网络数据安全的高效手段的缺陷，提供一种数据挖掘方法及系统。

本发明是通过下述技术方案来解决上述技术问题的：

一种数据挖掘方法，其特点在于，包括以下步骤：

步骤一、从多个网络数据的来源获取原始数据包，并将不同来源的原始数据包放入分布式消息队列中的不同消息队列；

步骤二、从消息队列中提取原始数据包，对提取的数据进行预处理，以将数据格式转换为预设格式；

步骤三、根据数据类型创建不同的分布式处理任务，其中包括packet原始数据包任务，packet原始数据包任务为将原始数据包解析产生索引信息和描述信息；

步骤四、将原始数据包中的数据与解析得到的索引信息分别存储到HBASE和elasticSearch，以备数据还原用，将原始数据包中的数据及描述信息存储到NoSql；

步骤五、从NoSql中提取数据并进行数据挖掘。

其中，HBASE是一个分布式的、面向列的开源数据库，其可作为结构化数据的分布式存储系统，而elasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。NoSql是指非关系型的数据库，本领域技术人员可以根据实际需要选择现有的非关系型的数据库。

本发明中的原始数据包，包含服务器的日志、网络安全产品的日志、网络原始数据包。

较佳地，步骤二还包括：对提取的数据进行预处理后，从中找出需关联的数据并将其重新发回对应的消息队列中。

在此，对于不同类型、来源的数据，其是否需关联，可以是由用户预先设置好的关联关系。在本发明的方法的执行过程中，一旦发现符合预设的关联关系的数据，则将其视为需关联的数据，将其发挥对应的消息队列中等待提取和处理。

较佳地，所述步骤五中的数据挖掘包括信息聚合，信息聚合包括，对提取的数据进行聚合并做关联，并统计数据的流量排行，将统计得到的结果存储到elasticSearch中。

上述的数据聚合可以采用一些本领域中采用的聚类算法进行。

较佳地，所述步骤五中的数据挖掘还包括基于提取的数据进行的木马心跳识别、恶意域名识别、网络异常行为检测。