[发明专利]网络安全分析系统

摘要

网络安全分析系统，包括用户网络安全监控模块、数据智能采集模块、大数据智能分析模块、网络安全事件评估模块和危险预警模块，所述用户网络安全监控模块用于收集网络安全设备中的网络数据，所述数据智能采集模块用于采集所述网络数据，并将所述网络数据发送至大数据智能分析模块进行分布式存储和处理，并对处理后的网络数据进行分析找出异常信息，所述网络安全事件评估模块用于根据所述异常信息对网络安全事件的风险进行评估，当评估的网络安全存在危险时即令危险预警模块进行预警。本发明提供一种网络安全分析系统，利用分布式的大数据处理模式能够有效的对获取的网络数据进行处理和分析，具有较高的处理效率和数据可靠性。

主权项

1.网络安全分析系统，其特征是，包括用户网络安全监控模块、数据智能采集模块、大数据智能分析模块、网络安全事件评估模块和危险预警模块，所述用户网络安全监控模块用于监控用户端的网络安全设备，收集网络安全设备中的网络数据，所述数据智能采集模块用于采集用户网络安全监控模块收集的网络数据，并将所述网络数据发送至大数据智能分析模块，所述大数据智能分析模块用于对接收到的网络数据进行分布式存储和处理，并对处理后的网络数据进行分析，找出异常信息，所述网络安全事件评估模块用于根据所述异常信息对网络安全事件的风险进行评估，当评估的网络安全存在危险时即令危险预警模块进行预警；所述大数据智能分析模块包括大数据筛选单元、大数据处理单元和大数据分析单元，所述大数据筛选单元用于对接收到的网络数据进行筛选处理，过滤掉其中的离散数据，具体包括：（1）选取部分正常的网络数据作为训练数据，采用长度为的滑动窗口将所述训练数据截取为多个长度为的样本集合，记为，其中，为截取的长度为的样本集合，为截取的样本集合数；（2）设为待检测数据，采用长度为的滑动窗口截取前个数据和待检测数据组成待检测数据集合，则，从所述样本集合中选取待检测数据集合的个最近邻，组成待检测数据集合的最近邻集合，则，定义待检测数据集合对应的离散因子为，则的计算公式为：式中，为最近邻的数量，为窗口长度，为数据集合的最近邻集合，且；（3）当待检测数据对应的离散因子时，则判定待检测数据为离散数据，即过滤掉数据；其中，为离散数据判断阈值，则离散数据判断阈值的计算公式为：式中，为样本集合对应的离散因子，为样本集合数, 为调节参数；所述大数据处理单元用于对筛选后的网络数据进行分布式存储和处理，所述大数据分析单元用于根据处理后的网络数据对网络安全进行分析；所述大数据处理单元采用MapReduce 数据处理框架对存储在HDFS 中的网络数据进行处理，在处理过程中，对各个节点上的任务运行情况进行监控，当发现存在运行较慢任务时，即在其他节点上复制该任务的拷贝重新运行，具体为：对各个节点上的任务运行进度进行监控，根据监控所得的节点中任务运行的进度信息预测任务的完成时间，当预测的任务完成时间满足下列条件时，则判定该节点中的任务为运行较慢任务，式中，表示已完成任务的平均完成时间，为调节参数，且，表示对节点中任务的预测完成时间，则计算公式为：式中，表示已经花费的时间，表示在时刻节点中任务运行的进度值，表示在时刻节点中任务运行的进度值，为权重系数，且，表示节点中当前任务阶段中已完成的进度，表示节点中任务的阶段权重，当节点中运行的任务为任务时，在任务阶段，令，，在任务的阶段， 令，，其中，和分别为任务的阶段和阶段对应的时间权重；当节点中运行的任务为任务时，在任务的阶段，令，，在的阶段，令，，在任务的阶段，令，，其中，、和分别为任务的阶段、阶段和阶段对应的时间权重；表示在时刻节点中任务运行的速度，则的计算公式为：式中，表示在时刻节点中任务运行的进度值，表示在时刻节点中任务运行的进度值，表示在时刻节点中任务运行的速度，表示权重系数，且。