[发明专利]基于队列的异步数据处理方法及装置有效
申请号: | 201910436019.3 | 申请日: | 2019-05-23 |
公开(公告)号: | CN110222118B | 公开(公告)日: | 2022-04-05 |
发明(设计)人: | 尹传文;吴峰;郭伟 | 申请(专利权)人: | 上海易点时空网络有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27 |
代理公司: | 北京知果之信知识产权代理有限公司 11541 | 代理人: | 唐海力 |
地址: | 200125 上海市浦东*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 队列 异步 数据处理 方法 装置 | ||
1.一种基于队列的异步数据处理方法,其特征在于,包括:
获取日志数据;
对所述日志数据执行投递至异步队列的操作;
判断所述日志数据是否投递成功;
如果是,则在所述异步队列中读取并分析所述日志数据;
完成所述日志数据的存储;
其中,获取日志数据包括:
接收客户端提交的成绩数据;
依照流水日志存储规则存储,将所述成绩数据存储为所述日志数据;
从数据库中解析出所述成绩数据,生成榜单排行数值;
判断所述日志数据是否投递成功之后还包括:
如果不是,则比对日志数据和原始的日志数据;
根据比对结果对所述日志数据执行投递至异步队列的操作;
判断所述日志数据是否投递成功;
如果是,则在所述异步队列中读取并分析所述日志数据;
完成所述日志数据的存储。
2.根据权利要求1所述的基于队列的异步数据处理方法,其特征在于,对所述日志数据执行投递至异步队列的操作包括:
使用服务端的日志处理程序,以多线程或多进程的方式将日志里面的数据投递到异步队列服务中去。
3.根据权利要求1所述的基于队列的异步数据处理方法,其特征在于,完成所述日志数据的存储之后还包括:
从数据库中解析出成绩数据用于生成榜单排行数值。
4.一种基于队列的异步数据处理装置,其特征在于,包括:
获取模块,用于获取日志数据;
第一投递模块,用于对所述日志数据执行投递至异步队列的操作;
第一判断模块,用于判断所述日志数据是否投递成功;
第一读取模块,用于如果是,则在所述异步队列中读取并分析所述日志数据;
第一存储模块,用于完成所述日志数据的存储;
其中,所述获取模块包括:
接收单元,用于接收客户端提交的成绩数据;
存储单元,用于依照流水日志存储规则存储,将所述成绩数据存储为所述日志数据;
生成模块,用于从数据库中解析出所述成绩数据,生成榜单排行数值;
所述判断模块之后还包括:
比对模块,用于如果不是,则比对日志数据和原始的日志数据;
第二投递模块,用于根据比对结果对所述日志数据执行投递至异步队列的操作;
第二判断模块,用于判断所述日志数据是否投递成功;
第二读取模块,用于如果是,则在所述异步队列中读取并分析所述日志数据;
第二存储模块,用于完成所述日志数据的存储。
5.根据权利要求4所述的基于队列的异步数据处理装置,其特征在于,所述投递模块包括:
处理单元,用于使用服务端的日志处理程序,以多线程或多进程的方式将日志里面的数据投递到异步队列服务中去。
6.根据权利要求4所述的基于队列的异步数据处理装置,其特征在于,所述存储模块之后还包括:
生成模块,用于从数据库中解析出成绩数据用于生成榜单排行数值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海易点时空网络有限公司,未经上海易点时空网络有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910436019.3/1.html,转载请声明来源钻瓜专利网。