[发明专利]网络数据分析的高可用系统和方法及计算机可读存储介质

权利要求书

1.一种网络数据分析的高可用系统，其特征在于，包括以下模块：

集群控制模块：搭建并启动集群服务器组，配置集群对外服务，接收外部设备提供的分析任务，将分析任务下发到数据采集模块、数据分析模块中的任一个或任多个；

数据采集模块：接收分析任务并采集网络数据，对网络数据进行预处理、数据持久化处理，转发网络数据至数据分析模块；

数据分析模块：接收网络数据，对网络数据进行解码，对解码后的网络数据进行交易关联，将交易关联后的网络数据记为交易数据，将交易数据发送至数据消费端；

所述集群控制模块包括：

数据采集管理模块：控制数据采集模块的实例创建、实例停止，动态调整数据采集的路由规则、数据转发策略中的任一种或任多种，监控数据采集模块的运行状态，若运行状态异常，则通知集群管理模块进行故障切换；

数据分析管理模块：控制数据分析模块的实例创建、实例停止，动态调整数据分析的解码协议栈、交易关联模型、输出策略中的任一种或任多种，监控数据分析模块的运行状态，若运行状态异常，则通知集群管理模块进行故障切换；

集群管理模块：与集群服务器组中的集群的数据分析节点之外的其他节点共同形成处理集群，监控其他节点的运行状态，若出现节点运行故障，则启动故障切换处理，将故障节点的分析任务分发至正常节点；若出现新增节点，则启动动态扩容，重新分配分析任务；

所述数据采集模块包括：

第一管理模块：接收集群控制模块的命令进行数据采集模块管理，提供监控接口供集群控制模块使用；

采集模块：接收外部设备提供的网络数据；

网络层解码模块：对网络数据进行解码，根据解码结果进行报文重组、异常处理，将解码后的网络数据发送至路由模块；

路由模块：根据路由规则将网络数据路由至指定的转发模块，接收第一管理模块的命令动态更新并应用路由规则；

转发模块：令网络数据转发至数据分析模块，对网络数据写入本地文件系统；

所述数据分析模块包括：

第二管理模块：接收集群控制模块的命令进行数据分析模块管理，提供交易数据的查询接口，提供监控接口供集群控制模块使用；

接收模块：接收数据采集模块转发的网络数据；

应用层解码模块：对网络数据进行应用层协议解码，形成非结构化的文本记录，接收第二管理模块的命令进行应用层协议栈的动态更新；

交易关联模块：根据交易模型对文本记录进行交易关联，形成交易记录，接收第二管理模块的命令进行交易模型的动态更新；

消息输出模块：将交易记录输出至数据消费端，接收第二管理模块的命令进行交易输出规则的动态更新。

2.根据权利要求1所述的网络数据分析的高可用系统，其特征在于，还包括故障切换和扩容模块；

故障切换和扩容模块：对集群服务器组中的各节点进行心跳信号检测，若心跳信号检测结果异常，则执行自动故障切换或自动扩容。

3.根据权利要求2所述的网络数据分析的高可用系统，其特征在于，所述故障切换和扩容模块包括自动故障切换模块；

自动故障切换模块：令故障节点的分析任务重新分配至其他存活节点，动态更新数据采集模块的路由策略，动态更新数据分析模块的解码和关联模型和输出规则。

4.根据权利要求2所述的网络数据分析的高可用系统，其特征在于，所述故障切换和扩容模块还包括自动扩容模块；

自动扩容模块：对集群服务器组新增节点，初始化新增节点的数据采集模块，验证新增节点的网络数据源是否正确，若网络数据源正确，则初始化数据分析模块，动态更新数据采集模块的路由策略，分配分析任务至新增节点。