[发明专利]一种高并发数据处理方法、装置及客户端服务器

说明书

本申请公开了一种高并发数据处理方法、高并发数据处理装置、客户端服务器及计算机可读存储介质，其中，该高并发数据处理方法包括：基于预设的第一间隔时间周期性触发查询数据任务，若查询到存在待处理的数据，则将待处理的数据存入消息队列中；基于预设的第二间隔时间周期性触发处理数据任务，其中，所述处理数据任务包括：检测消息队列中是否存在所述待处理的数据；若消息队列中存在待处理的数据，则获取预设数量的待处理的数据；基于获取到的待处理的数据，对获取到的所述待处理的数据进行处理。本申请方案通过周期性触发查询数据任务及处理数据任务提高了数据处理的速度及效率。

技术领域

本申请属于数据处理技术领域，尤其涉及一种高并发数据处理方法、高并发数据处理装置、客户端服务器及计算机可读存储介质。

背景技术

而现在互联网的数据呈现几何爆炸似的增长，随着信息量和用户的增多，大数据和高并发成了软件设计必须考虑的问题，由传统的单一请求演变为大规模大级别数量的业务请求，而作为客户端业务请求方和提供业务请求服务的区块链服务方，在面对大规模的并发请求和数据传输，所带的压力也是巨大的。

现有的海量数据高并发请求方案常用的做法有批量异步请求和接口轻量化拆分等手段。但批量异步请求会使得数据处理服务器、客户端服务器瞬间压力增大，瞬间数据吞吐量加大，最终导致客户端服务器和/或数据处理服务器出现宕机、挂机、死机、请求超时、时延加大、程序跑死等情况。而接口轻量化拆分则是将接口请求进行拆分并且将请求的数据和服务方返回的数据进行精简轻量化，以减少数据吞吐理和数据交换量和请求量来减轻请求方和业务提供方的负载压力，但这种方式会导致经常满足不了大型互联网公司、跨国大公司的业务需求。

发明内容

有鉴于此，本申请提供了一种高并发数据处理方法、高并发数据处理装置、客户端服务器及计算机可读存储介质，可提高高并发数据处理的速度及效率。

本申请的第一方面提供了一种高并发数据处理方法，包括：

基于预设的第一间隔时间周期性触发查询数据任务，若查询到存在待处理的数据，则将上述待处理的数据存入消息队列中；

基于预设的第二间隔时间周期性触发处理数据任务，其中，上述处理数据任务包括：检测上述消息队列中是否存在上述待处理的数据；若上述消息队列中存在上述待处理的数据，则获取预设数量的上述待处理的数据；基于获取到的上述待处理的数据，对获取到的上述待处理的数据进行处理。

可选地，上述基于预设的第一间隔时间周期性触发查询数据任务，包括：

检测已被查询的数据的数据量；

若上述已被查询的数据的数据量占总数据量的比值达到预设的比值，则作页面重新刷新跳转，并在上述页面重新刷新跳转后，继续基于上述第一间隔时间周期性触发查询数据任务。

可选地，上述基于预设的第一间隔时间周期性触发查询数据任务之后，上述数据处理方法还包括：

更改已被查询的数据的标志位。

可选地，上述基于预设的第二间隔时间周期性触发处理数据任务，包括：

检测当前数据处理压力情况是否与预设的压力情况相匹配；

若当前数据处理压力情况与预设的压力情况相匹配，则基于预设的第二间隔时间周期性触发两个以上处理数据任务。

可选地，上述高并发数据处理方法还包括：

若上述待处理的数据处理失败，则将上述待处理的数据重新压入上述消息队列中；

将本次处理失败的情况写入日志记录中。

可选地，上述查询数据任务包括分页分批次查询是否存在待处理的数据，上述分页分批次查询是否存在待处理的数据包括：