[发明专利]监控平台实时数据处理方法

摘要

本发明提供了一种监控平台实时数据处理方法，该方法包括：在数据监控平台下对数据流及其镜像进行采集、存储、计算和显示；通过对数据流进行聚类和统计得出各类的统计特性，当产生新的网络数据流时，基于上述聚类和统计结果实时监控非正常数据流。本发明提出了一种监控平台实时数据处理方法，适应面向不同数据集和响应要求的安全事件监控需求，很好地解决实时性和监控效率之间的平衡问题。

主权项

1.一种监控平台实时数据处理方法，其特征在于，包括：/n在数据监控平台下对数据流及其镜像进行采集、存储、计算和显示；通过对数据流进行聚类和统计得出各类的统计特性，当产生新的网络数据流时，基于上述聚类和统计结果实时监控非正常数据流；/n所述监控平台包括采集单元、存储单元、计算处理单元和显示单元，/n其中所述计算处理单元应用Samza云平台，实时处理数据流并显示网络运行状况，监控和预警安全事件；数据采集单元将分散在网络中各个节点和服务器的日志信息、原始数据流信息、数据包镜像信息进行采集，并且保证采集的数据具有内容可靠性、数据集可扩展性，控制节点可管理性；将系统中分散节点产生的日志信息、数据量信息通过数据采集节点传送到分布式文件存储系统中，并对原始数据进行初步处理，产生适合计算处理单元运算的输入数据，最终存储到分布式文件存储系统中；将路由节点、防火墙节点、服务器节点等能够产生日志和数据镜像的节点作为数据代理，通过架设多个数据采集节点，然后由主控节点协调工作，将数据推送到分布式文件存储系统中，以便计算处理单元对输入数据进行处理；/n存储单元包含数据缓存、数据集中存储、数据持久化模块；数据缓存将一部分采集数据直接交付计算处理单元进行数据处理，而不存储在分布式文件存储系统上；所述数据缓存包含消息队列，对数据向计算处理单元进行交付；数据集中存储模块应用分布式文件存储系统对采集到的日志和数据流进行存储，对日志采集系统所采集的数据提取出计算处理单元所需要的数据格式；对于存储的数据采用两种数据存储方式：一种是关系数据库，方便计算处理单元采用结构化查询的方式获取数据；另一种是键值对存储方式，适合分布式计算框架的编程模型；/n在Samza平台上，将原始数据流经过计算统计后形成网络数据流属性信息，出口报文表示从监控平台中向外部网络发送的数据包，入口报文表示从外部网络向内部网络发送的数据包；对于直接能够应用条件过滤对数据流进行过滤的非正常数据流，在进入计算处理单元之前，即上传到分布式文件存储系统之前对数据进行过滤判断；/n在数据流监控中，通过聚类算法构建数据流类型集合，对存在于学习库中的集合进行分类划分，从而发现网络中存在的攻击；/n针对网络原始数据流，将部分报头信息正则化并存储后，形成聚类分析的输入数据向量；以源服务器ip和目标端口为关键字，选取流量属性作为聚类分析的输入属性；其中在进入聚类分析之前，所述正则化如下：/na_u＝(a-a_min)/(a_max-a_min)/n其中a_u为正则化结果，a为每个原始数据，a_max、a_min分别为原始报头数据的最大值和最小值；/n聚类过程中，根据已选定好的属性，输入数据，对目标数据流进行聚类，将正常的数据流和非正常的数据流进行区分。/n