[发明专利]基于网络安全的大数据智能分析应用方法

说明书

本发明提供一种基于网络安全的大数据智能分析应用方法，包括：获取并预处理网络数据，存储所述网络数据并形成分布式存储管理系统；根据所述网络数据建立数学模型库，完成数据结构定义；提供数据挖掘分析的入口，根据算法参数建立相应模型，生成分析结果。本发明能够以安全大数据为基础，全天候全方位感知网络安全态势；利用已有实时监测技术，通过长时间数据分析发现异常行为；通过数据建模，建立可视化的分析能力，对威胁的影响范围、攻击路径、目的、手段进行快速研判，做出有效的安全决策和响应；建立风险通报和威胁预警机制，全面掌握攻击者目的、技战术、攻击工具等信息，并完善防御体系。

技术领域

本发明涉及网络安全技术领域，尤其涉及一种基于网络安全的大数据智能分析应用方法。

背景技术

目前，网络安全技术通常是通过已知网络威胁和攻击行为的大数据分析和检测，即通过分析网络流量，威胁数据及行为等技术，检测所有可疑网络活动的持续威胁，从而进行防护。

然而，所述技术虽能做到网络检测与文件检测同步进行，但缺乏对未知威胁的数据采集、分析预测、研判预警和解决方案等能力。

发明内容

本发明的目的在于提供一种基于网络安全的大数据智能分析应用方法，其能够有效监控各类网络威胁。

为达到上述目的，本发明提供了一种基于网络安全的大数据智能分析应用方法，其特征在于，所述应用方法包括：获取并预处理网络数据，存储所述网络数据并形成分布式存储管理系统；根据所述网络数据建立数学模型库，完成数据结构定义；提供数据挖掘分析的入口，根据算法参数建立相应模型，生成分析结果。

较佳的，所述步骤“获取并预处理网络数据，存储所述网络数据并形成分布式存储管理系统”包括：通过威胁情报特征库，抓取网络数据，并进行数据汇聚，依据大数据分布式计算特性与算法特性对所述网络数据进行统一预处理，形成统一的分布式存储管理系统。

较佳的，所述“依据大数据分布式计算特性与算法特性对所述网络数据进行统一预处理义”包括：利用数据切片、数据分类、数据聚合，数据索引标记技术对网络数据进行层级化的聚合、重组、清洗、提取、转换、管理、切分等预处理操作。

较佳的，所述步骤“根据所述网络数据建立数学模型库，完成数据结构定义”包括：对所述网络数据进行智能分析、挖掘、探索，建立数学模型库，实现大数据格式的数据结构定义，对算法参数、数学模型库、模型评估体系和挖掘分析的结果进行统一管理。

较佳的，所述步骤“根据所述网络数据建立数学模型库，完成数据结构定义”包括：建立事件理解引擎，将归并后的安全日志，基于事件理解规则，进行关联分析，将安全日志理解为安全事件，提高告警准确性；抽象成分析模型，并将分析模型在Spark-streaming中进行代码实现。

较佳的，所述步骤“根据所述网络数据建立数学模型库，完成数据结构定义”包括：建立攻击链分析模型，通过分析各个网络安全设备收集的所述安全日志和流量安全日志生成网络安全事件，进行正反双向推理，正向推理预警潜在威胁，反向推理还原攻击情景。

较佳的，还包括：攻击链挖掘程序在网络安全事件的基础之上，按照目的资产的维度将各个安全事件进行聚合，并对应到攻击链的各个阶段，从而发现当前网络中的脆弱主机。

较佳的，所述步骤“根据所述网络数据建立数学模型库，完成数据结构定义”包括：建立情报关联模型，通过云端情报与本地事件的关联分析实现潜在威胁报警；其中，所述潜在威胁包括恶意IP、恶意URL。

较佳的，所述步骤“根据所述网络数据建立数学模型库，完成数据结构定义”包括：所述安全日志经过分析引擎时，与知识库进行匹配，将所述安全日志打上标签，产生安全事件，事件再上传到云端情报，进行情报验证，提高分析准确性。