[发明专利]一种网络安全大数据分析方法、系统及相关装置

说明书

本申请所提供的一种网络安全大数据分析方法，包括：将内部数据源和外部数据源进行异构信息集成，得到集成数据；利用流式处理算法对集成数据进行实时流式处理，得到流式数据集；利用内部数据源的历史数据及外部数据源的历史数据进行模型训练，得到深度学习模型；将流式数据集输入深度学习模型，得到风险评估结果；对风险评估结果中的各个风险数据进行溯源分析处理，分别建立各个风险数据与内部数据源或外部数据源之间的关联。该方法是利用多源异构数据的历史数据经过模型训练得到的深度学习模型进行风险评估，能够提高发现的风险数据及风险源的准确性。本申请还提供一种网络安全大数据分析系统、设备及计算机可读存储介质，均具有上述有益效果。

技术领域

本申请涉及网络安全领域，特别涉及一种网络安全大数据分析方法、系统、设备及计算机可读存储介质。

背景技术

目前日志、网络流量等数据用于安全分析的技术已经很成熟，但是，由于保留和分析大量数据所消耗的成本较高，系统日志与主机活动等数据一般保留一段时间后被删除。为实现对网络或云计算平台等系统的全面安全分析，需要从全局的角度获取安全分析所需数据，包括：网络数据包、日志、资产状态、业务信息、漏洞信息、身份认证与访问信息、用户行为信息、配置信息等，可能还需要来自互联网的外部情报信息等数据。这些数据产生的速度越来越快，且数据类型涵盖结构化、半结构化和非结构化，呈现出大数据的特点。相关技术中，利用传统机器学习方法对多源异构数据进行分析，由于传统机器学习方法针对所有的数据都是统一的分析模式，对于不同的数据不具有针对性，导致发现的风险数据及风险源准确性不高。

因此，如何有针对性地对多源异构数据进行实时性深入分析，进而提高发现的风险数据及风险源的准确性是本领域技术人员需要解决的技术问题。

发明内容

本申请的目的是提供一种网络安全大数据分析方法、系统、设备及计算机可读存储介质，能够有针对性地对多源异构数据进行实时性深入分析，进而提高发现的风险数据及风险源的准确性。

为解决上述技术问题，本申请提供一种网络安全大数据分析方法，包括：

将内部数据源和外部数据源进行异构信息集成，得到集成数据；

利用流式处理算法对所述集成数据进行实时流式处理，得到流式数据集；

利用所述内部数据源的历史数据及所述外部数据源的历史数据进行模型训练，得到深度学习模型；

将所述流式数据集输入所述深度学习模型，得到风险评估结果；

对所述风险评估结果中的各个风险数据进行溯源分析处理，分别建立各个所述风险数据与所述内部数据源或所述外部数据源之间的关联。

优选地，所述将内部数据源和外部数据源进行异构信息集成，得到集成数据，包括：

对所述内部数据源和所述外部数据源进行数据抽取处理，得到目标数据；

利用XML技术对所述目标数据进行数据格式转换，得到所述集成数据。

优选地，所述利用流式处理算法对所述集成数据进行实时流式处理，得到流式数据集，包括：

利用Spark Streaming算法和Spark Engine算法对所述集成数据进行实时流式处理，得到所述流式数据集。

优选地，所述分别建立各个所述风险数据与所述内部数据源或所述外部数据源之间的关联之后，还包括：

利用可视化工具以图形化的形式输出各个所述风险数据与对应的内部数据源或外部数据源的所述关联。

本申请还提供一种网络安全大数据分析系统，包括：

异构信息集成模块，用于将内部数据源和外部数据源进行异构信息集成，得到集成数据；