[发明专利]高并发数据处理系统及方法

说明书

本发明公开了一种高并发数据处理系统及方法，所述系统包括数据库、负载均衡服务器、多个消息队列服务器、与所述多个消息队列服务器一一对应设置的多个流处理服务器，所述负载均衡服务器，用于根据预先配置好的IP映射关系和调度算法，将外部的数据请求分发到相应的消息队列服务器；每个所述消息队列服务器，设置了用于暂存一种类型的数据请求的由消息队列组成的主题通道，用于将所述负载均衡服务器分发过来的数据请求暂存到所述主题通道中；每个所述流处理服务器，用于采用流处理技术对与其对应设置的消息队列服务器的主题通道中的数据请求进行处理，并将处理的结果存入所述数据库中。采用本发明的技术方案，可满足大量高并发的数据处理需求。

技术领域

本发明涉及服务器领域，尤其涉及一种高并发数据处理系统及方法。

背景技术

随着工业互联网的快速发展，工业设备的数量将越来越多，设备数据需要进行上报和存储，数据上报的频率日益增长，对服务器造成了很大的压力，同时，数据上报过程中还伴随着实时业务处理。面对多种设备的高并发上报和处理，如何提高服务器的处理能力，对数据进行实时处理并存储，是首要解决的难题，因此，需要一个具备高并发处理能力的架构。

发明内容

本发明的目的是针对现有技术的输出处理量激增导致服务器压力大的技术问题，本发明提出一种高并发数据处理系统及方法。

本发明实施例中，提供了一种高并发数据处理系统，其包括数据库、负载均衡服务器、多个消息队列服务器、与所述多个消息队列服务器一一对应设置的多个流处理服务器，

所述负载均衡服务器，用于根据预先配置好的IP映射关系和调度算法，将外部的数据请求分发到相应的消息队列服务器；

每个所述消息队列服务器，设置了用于暂存一种类型的数据请求的由消息队列组成的主题通道，用于将所述负载均衡服务器分发过来的数据请求暂存到所述主题通道中；

每个所述流处理服务器，用于采用流处理技术对与其对应设置的消息队列服务器的主题通道中的数据请求进行处理，并将处理的结果存入所述数据库中。

本发明实施例中，所述负载均衡服务器采用Nginx服务器。

本发明实施例中，所述消息队列服务器采用Kafka服务器。

本发明实施例中，所述流处理服务器采用Flink服务器。

本发明实施例中，所述负载均衡服务器在所述预先配置好的IP映射关系及调度算法中，设置了不同类型的数据请求对应的消息队列服务器以及所述消息队列服务器的IP地址。

本发明实施例中，还提供了一种高并发数据处理方法，其包括：

负载均衡服务器根据预先配置好的IP映射关系和调度算法将外部的数据请求分发到相应的消息队列服务器；

消息队列服务器将负载均衡服务器分发过来的数据请求暂存在用于暂存所述数据请求同类型的数据请求的主题通道中；

流处理服务器获取相应消息队列服务器的主题通道中的数据请求并采用流处理技术所述数据请求进行处理，并将处理的结果存入数据库中。

与现有技术相比较，采用本发明的高并发数据处理系统及方法，负载均衡服务器根据预先配置好的IP映射关系和调度算法将外部的数据请求分发到相应的消息队列服务器；消息队列服务器将负载均衡服务器分发过来的数据请求暂存在用于暂存所述数据请求同类型的数据请求的主题通道中；流处理服务器获取相应消息队列服务器的主题通道中的数据请求并采用流处理技术所述数据请求进行处理，并将处理的结果存入数据库中，利用了各个服务器自身的数据处理特性，可以解决大量数据请求对服务器带来的负载过重的问题，提高实时处理的能力。

附图说明

图1是本发明实施例的高并发数据处理系统的结构示意图。

图2是本发明实施例的高并发数据处理系统的数据处理流程的示意图。

具体实施方式