[发明专利]基于队列的异步数据处理方法及装置

说明书

本申请公开了一种基于队列的异步数据处理方法及装置。该方法包括：获取日志数据；对所述日志数据执行投递至异步队列的操作；判断所述日志数据是否投递成功；如果是，则在所述异步队列中读取并分析所述日志数据；完成所述日志数据的存储。该装置包括：获取模块、投递模块、判断模块、读取模块、存储模块。本申请解决了使用同步的方式上传成绩数据，会出现服务器处理不过来和丢失数据的情况，从而影响榜单数据准确性的技术问题。

技术领域

本申请涉及物联网技术领域，具体而言，涉及一种基于队列的异步数据处理方法及装置。

背景技术

使用同步的方式上传成绩数据，服务采集数据的并发能力严重受限，一般都要等一个连接处理完成绩数据的统计工作之后，才可以处理下一个的请求，以这种方式处理大量数据上报的情况，必然会遇到服务处理不过来，或者数据丢失的情况，最终影响榜单数据的准确性。

针对相关技术中使用同步的方式上传成绩数据，会出现服务器处理不过来和丢失数据的情况，从而影响榜单数据准确性的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种基于队列的异步数据处理方法及装置，以解决使用同步的方式上传成绩数据，会出现服务器处理不过来和丢失数据的情况，从而影响榜单数据准确性的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种基于队列的异步数据处理方法及装置。

根据本申请的基于队列的异步数据处理方法，包括：获取日志数据；对所述日志数据执行投递至异步队列的操作；判断所述日志数据是否投递成功；如果是，则在所述异步队列中读取并分析所述日志数据；完成所述日志数据的存储。

进一步的，获取日志数据包括：接收客户端提交的成绩数据；依照流水日志存储规则存储，将所述成绩数据存储为所述日志数据。

进一步的，判断所述日志数据是否投递成功之后还包括：如果不是，则比对日志数据和原始数据；根据比对结果对所述日志数据执行投递至异步队列的操作；判断所述日志数据是否投递成功；如果是，则在所述异步队列中读取并分析所述日志数据；完成所述日志数据的存储。

进一步的，对所述日志数据执行投递至异步队列的操作包括：使用服务端的日志处理程序，以多线程或多进程的方式将日志里面的数据投递到异步队列服务中去。

进一步的，完成所述日志数据的存储之后还包括：从数据库中解析出成绩数据用于生成榜单排行数值。

为了实现上述目的，根据本申请的另一方面，提供了一种基于队列的异步数据处理装置。

根据本申请的基于队列的异步数据处理装置包括：获取模块，用于获取日志数据；第一投递模块，用于对所述日志数据执行投递至异步队列的操作；第一判断模块，用于判断所述日志数据是否投递成功；第一读取模块，用于如果是，则在所述异步队列中读取并分析所述日志数据；第一存储模块，用于完成所述日志数据的存储。

进一步的，所述获取模块包括：接收单元，用于接收客户端提交的成绩数据；存储单元，用于依照流水日志存储规则存储，将所述成绩数据存储为所述日志数据。

进一步的，所述判断模块之后还包括：比对模块，用于如果不是，则比对日志数据和原始数据；第二投递模块，用于根据比对结果对所述日志数据执行投递至异步队列的操作；第二判断模块，用于判断所述日志数据是否投递成功；第二读取模块，用于如果是，则在所述异步队列中读取并分析所述日志数据；第二存储模块，用于完成所述日志数据的存储。

进一步的，所述投递模块包括：处理单元，用于使用服务端的日志处理程序，以多线程或多进程的方式将日志里面的数据投递到异步队列服务中去。

进一步的，所述存储模块之后还包括：生成模块，用于从数据库中解析出成绩数据用于生成榜单排行数值。