[发明专利]支持海量数据实时处理的网络分析系统和方法

权利要求书

1.一种基于海量数据实时处理技术的网络分析系统，其特征在于：该系统包括：多个数据适配节点和由多个数据分析节点组成的数据分析集群，其中：

数据适配节点，用于获取被管理的外部网络中的数据，并利用数据适配功能将所有输入到数据分析集群、需要实时分析的数据适配转换为数据分析集群内部能够解析和通信的事件，并将该事件初次分发到数据分析集群中的各个数据分析节点，实现初次分发的负载均衡；同时，数据分析集群处理后的结果，也以事件方式发送到数据适配节点，由其利用数据适配功能将其转换适配为对外通信的数据格式后向外输出，或转发给数据库、日志或图形界面进行后期记录或显示；该数据适配节点的输入信息为外部网络的所有数据、数据分析请求、中间事件或最后结果事件，输出信息则根据需要适配为对数据库、日志和图形界面的存储操作、对Web Service接口的通信操作或发送设定格式的网络数据；

数据分析集群，由作为该系统完成网络数据分析核心功能、呈分布式配置于网络中的多个数据分析节点所组成，这些数据分析节点负责对数据进行实时的故障监测、分析、统计、排查和诊断的操作，并将处理结果发送到数据适配节点，或数据库、日志和图形界面，以供后期处理；数据分析节点支持P2P组网方式和负载均衡机制，以使该数据分析集群具有伸缩功能：若要调整其处理能力时，只需直接添加或减少数据分析节点数量即可；各个数据分析节点之间基于事件通信完成流水线式的分析处理过程。

2.根据权利要求1所述的系统，其特征在于：所述系统内的两种节点：数据适配节点和数据分析节点都具备下述结构组成与功能的特点：

采用P2P架构方式组网：支持节点的动态管理和负载均衡，以使系统具有动态伸缩功能，并提高其工作可靠性和整体性能；

基于事件的内部通信机制：以事件作为通信唯一媒介，即节点之间的通信抽象为事件，使得发送方不需获知事件目的地，接收方不需知道事件源地址，以简化通信协议，增强数据分析集群的动态伸缩能力，提高系统处理能力；

组成结构基本相同：两种节点都设有由通信层和容器层组成的节点公共基础结构，除了数据分析节点的通信层没有数据收发模块以外，其余各个模块的结构与功能都相同，上层处理逻辑也都采用相同的可扩展方式，使得该系统的所有节点共享相同的底层模块和基本一致的处理逻辑，只需部署不同的处理逻辑，就能配置不同功能的节点，从而简化系统结构，便利于节点管理和数据分析集群的动态伸缩；

流水线式的数据分析处理过程：每个数据分析节点作为流水线中的一环，将数据分析流程逐步分解，形成多个简单片断执行分步处理，从而简化各节点的结构与功能，提高处理效率，系统容易扩展和伸缩；

基于一致性Hash的平衡路由机制给下一跳数据分析节点分发事件：分发事件时保证负载均衡，有利于节点管理、集群伸缩和系统简化；

支持多语言、可扩展的数据分析和处理机制：支持动态加载多种处理逻辑，以丰富该系统的数据分析功能，简化逻辑开发方法，提高系统的可扩展功能。

3.根据权利要求1所述的系统，其特征在于：所述系统内的数据适配节点和数据分析节点都设有通信层、逻辑层和容器层，其中的通信层和容器层组成节点公共基础结构；该节点公共基础结构中的功能模块，除去数据适配节点在通信层专设其特有的数据收发模块以外，其余包括通信层中的节点管理模块和事件收发模块，容器层中的数据处理容器模块、逻辑管理模块都是上述两种节点共同设置的，且两者的上述模块的结构与功能都相同。