[发明专利]一种应用程序高并发高负荷处理方法和系统

说明书

技术领域

本发明涉及移动终端应用程序技术领域，特别是涉及一种应用程序高并发高负荷处理方法和系统。

背景技术

随着网络信息技术的不断进步，移动终端应用程序也得以快速发展，以满足人们多样化需求，而随之而来的也是业务的不断增长，用户基数越来越大、访问量越来越高，有的应用程序从一开始设计的系统架构己经不能再支撑百万级的访问量，产品表现得越来越慢，消耗资源越来越高，用户等待时间越来越长。面对这类问题目前的一种有效解决方式是负载均衡，即在服务器集群中，设置一台服务器充当调度者的角色，用户的所有请求都会首先由它接收，调度者再根据每台服务器的负载情况将请求分配给某一台后端服务器去处理，在这个过程中，调度者如何合理分配任务，保证所有后端服务器都将性能充分发挥，从而保持服务器集群的整体性能最优。采用负载均衡虽然能够一定程度上缓解相应问题，但是面对数量级增长的用户访问还是显得不够。这是IT行业一些开发产品的瓶颈通病，在高并发、高访问、高负荷压力下出现响应延迟甚至无法响应，使用户失去耐心等待而弃用该产品。

发明内容

本发明的目的是提供一种应用程序高并发高负荷处理方法和系统，以解决现有技术中的一些应用程序在高并发、高负荷压力下无法快速响应的技术问题。

为实现上述目的，本发明提供了如下方案：

一种应用程序高并发高负荷处理方法，包括步骤：

以Protocol Buffers数据替代json数据作为后端API跟客户端交互的数据传输方式；

通过redis集群将数据交由后端API返回到客户端；

通过高速消息队列kafka来联接任务调度系统。

其中，所述步骤通过高速消息队列kafka来联接任务调度系统，还包括步骤：

使日志文件根据broker中的配置要求，将被消费消息保留预定的时间之后删除。

其中，所述步骤通过高速消息队列kafka来联接任务调度系统还包括步骤：

使consumer保存被消费消息的offset，并控制offset的保存和使用。

其中，所述步骤通过高速消息队列kafka来联接任务调度系统还包括步骤：

使consumer和producer的状态信息由zookeeper保存。

其中，所述步骤通过redis集群将数据交由后端API返回到客户端，还包括步骤：

Redis集群支持数据从主服务器向任意数量的从服务器上同步。

本发明实施例还提供一种应用程序高并发高负荷处理系统，与客户端、后端API数据连接，包括Protocol Buffers数据传输模块、redis集群模块、高速消息队列kafka模块和任务调度系统；

所述Protocol Buffers数据传输模块，用于以Protocol Buffers数据替代json数据作为后端API跟客户端交互的数据传输方式；

所述redis集群模块，用于通过redis集群将数据交由后端API返回到客户端；

所述高速消息队列kafka模块，用于通过高速消息队列kafka来联接所述任务调度系统。

其中，所述高速消息队列kafka模块，还用于使日志文件根据broker中的配置要求，将被消费消息保留预定的时间之后删除。

其中，所述高速消息队列kafka模块，还用于使consumer保存被消费消息的offset，并控制offset的保存和使用。

其中，所述高速消息队列kafka模块，还用于使consumer和producer的状态信息由zookeeper保存。

其中，所述redis集群模块，还用于支持数据从主服务器向任意数量的从服务器上同步。