[发明专利]网络数据分析的高可用系统和方法及计算机可读存储介质

说明书

本发明提供网络数据分析的高可用系统和方法，搭建并启动集群服务器组，配置集群对外服务，接收外部设备提供的分析任务，将分析任务下发到数据采集模块；接收分析任务并采集网络数据，对网络数据进行分析、数据持久化，转发网络数据至数据分析模块；接收网络数据，对网络数据进行解码，对解码后的网络数据进行交易关联，将交易关联后的易数据发送数据消费端。对集群服务器组中的各节点进行心跳信号检测，若检测结果异常，则执行自动故障切换或自动扩容。通过集群控制数据分片和数据冗余，在高量级数据下提升存储性能，通过创新数据分发算法提升处理性能，采用流计算架构减少数据处理延时，集群方式实现高可用，无需人工介入，有效缩短切换时长。

技术领域

本发明涉及网络性能监控领域，具体地，涉及一种网络数据分析的高可用系统和方法及计算机可读存储介质。

背景技术

通常来说系统高可用主要可以分为“存储高可用”和“计算高可用”两个方面。常见的架构有“主备”、“主从”和“集群”等。

主备架构的优势在于简单，主备机之间不需要进行交互，状态判断和切换操作由人工执行。主要缺点在于：人工切换操作效率低，并且手工做容易出错；备机仅仅作为备份，硬件成本上有浪费。主从架构的优势在于，相对于主备方案，发挥了从机的硬件性能。主要缺点在于：需要对任务进行分类，任务分配器会复杂一些；如果主从机之间延时比较大，可能会出现数据不一致的问题。

集群架构相对于主备和主从避免了人工切换可能引起的问题，但相对的存在设计上的复杂性，并且当涉及到数据存储是可能面临数据分区的问题。通常的高可用集群会将先数据保存在分布式储存集群中，如Hadoop的HDFS，Amazon的S3等，然后计算集群从分布式存储中加载数据并计算。

专利文献CN102123076B公开了网络安全设备的高可用性方法、设备及系统。在一个实施例中，备份入侵检测与防御(IDP)设备包括:一个或多个网络接口，接收来自主IDP设备的状态更新消息，其中，状态更新消息表示被主IDP设备检查的网络会话以及用于设备的被识别的应用层协议，该一个或多个网络接口接收主设备已经切换或故障切换到备份网络设备的指示，以及该一个或多个网络接口在接收到指示之后接收网络会话的多个数据包，多个数据包的每一个均包括包含应用层数据的相应净荷；协议解码器，根据多个数据包中的一个的应用层数据检测新事务的开始；以及控制单元，仅对在所述新事务的开始之后并包括所述新事务的开始的网络会话的多个数据包的应用层数据进行有状态处理。上述专利文献会对网络数据报文进行分析，支持计算过程的高可用，但是采用主备模式，在线以中间人方式获取数据，应用在网络安全领域，且不支持动态添加从节点以实现动态扩容。

专利文献CN1855873B描述了一种网络节点，该网络节点确保了每次入口站(例如PC)对特殊的MACDA数据包进行传送时，都将该数据包的副本转发(经由高可用性VLAN)给与远程网络节点和/或出口服务器(例如防火墙)相关联的该入口站的端口而不转发给与数据存储服务器或入口站(例如PC)相关联的该入口站的端口。该网络节点还确保了每次入口站(例如PC)对普通的MACDA数据包进行传送时，都将该数据包的副本转发给与入口站、远程网络节点、出口服务器和/或数据存储服务器相关联的该入口站的所有端口，以便这些站/服务器可以经由默认的VLAN保持其连通性。上述专利文献实现了网络数据接收的高可用，但是仅支持网络层协议，且应用在虚拟网络领域。