[发明专利]数据挖掘方法及系统

摘要

本发明公开了一种数据挖掘方法及系统。该数据挖掘方法包括以下步骤：从多个数据来源获取原始数据包，并将其放入不同的分布式消息队列中；从消息队列中提取原始数据包，对提取的数据进行预处理；根据数据类型创建不同的分布式处理任务，其中包括原始数据包任务，原始数据包任务为将原始数据包解析产生索引信息和描述信息；将原始数据包中的数据与解析得到的索引信息分别存储到HBASE和搜索服务器，并将原始数据包中的数据及描述信息存储到数据库；从数据库中提取数据并进行数据挖掘。本发明的数据挖掘方法及系统基于网络数据能够高效地进行信息的收集、联动、汇聚、存储、挖掘，从而能够及时发现网络威胁，溯源攻击，保障网络数据安全。

主权项

1.一种数据挖掘方法，其特征在于，包括以下步骤：步骤一、从多个网络数据的来源获取原始数据包，并将不同来源的原始数据包放入分布式消息队列中的不同消息队列；步骤二、从消息队列中提取原始数据包，对提取的数据进行预处理，以将数据格式转换为预设格式；步骤三、根据数据类型创建不同的分布式处理任务，其中包括packet原始数据包任务，packet原始数据包任务为将原始数据包解析产生索引信息和描述信息；步骤四、将原始数据包中的数据与解析得到的索引信息分别存储到HBASE和elasticSearch，以备数据还原用，将原始数据包中的数据及描述信息存储到NoSql；步骤五、从NoSql中提取数据并进行数据挖掘；所述步骤五中的数据挖掘还包括基于提取的数据进行的木马心跳识别、恶意域名识别、网络异常行为检测；该数据挖掘方法还包括一步骤六，该步骤六为：查看由木马心跳识别、恶意域名识别、网络异常行为检测而产生的报警，并根据报警的信息以及相应的索引信息还原数据包。