[发明专利]业务数据处理方法、系统、服务器和可读存储介质在审
申请号: | 202010959886.8 | 申请日: | 2020-09-14 |
公开(公告)号: | CN112100152A | 公开(公告)日: | 2020-12-18 |
发明(设计)人: | 陈智铭;高翔;郭荣洁;林锦培 | 申请(专利权)人: | 广州华多网络科技有限公司 |
主分类号: | G06F16/182 | 分类号: | G06F16/182;G06F16/11 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 黄晓庆 |
地址: | 511400 广东省广州市番禺区南村镇万*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 业务 数据处理 方法 系统 服务器 可读 存储 介质 | ||
1.一种业务数据处理方法,其特征在于,应用于业务数据处理系统,所述业务数据处理系统包括索引服务器和多个业务服务器,所述方法包括:
所述索引服务器获取原始增量业务数据,并对所述原始增量业务数据进行数据分片,得到增量分片业务数据;
所述索引服务器对所述增量分片业务数据进行处理,得到具有预设数据结构的增量业务数据,并将所述增量业务数据存储在分布式文件系统HDFS中;
所述索引服务器基于所述增量业务数据更新目标服务器中的数据版本信息,并发送数据版本更新通知至所述目标服务器,所述目标服务器为所述多个业务服务器中的一个业务服务器;
所述目标服务器根据更新的数据版本信息,从所述HDFS拉取所述更新的数据版本信息对应的所述增量业务数据,并将所述增量业务数据加载至内存以供客户端访问。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述索引服务器根据所述增量业务数据的所述更新的数据版本信息以及所述增量业务数据在所述HDFS中的第一存储地址,生成第一数据基本信息;
对应地,所述目标服务器根据更新的数据版本信息,从所述HDFS拉取所述更新的数据版本信息对应的所述增量业务数据,包括:
所述目标服务器根据所述更新的数据版本信息,从所述索引服务器中获取所述第一数据基本信息;
所述目标服务器根据所述第一数据基本信息包括的所述第一存储地址,从所述第一存储地址指示的HDFS存储位置中拉取所述更新的数据版本信息对应的所述增量业务数据。
3.根据权利要求1所述的方法,其特征在于,所述索引服务器对所述增量分片业务数据进行处理,得到具有预设数据结构的增量业务数据,包括:
所述索引服务器采用拉链法对所述增量分片业务数据进行处理,得到具有预设数据结构的所述增量业务数据。
4.根据权利要求1所述的方法,其特征在于,所述业务数据处理系统还包括数据源服务器,所述方法还包括:
所述数据源服务器获取所述原始增量业务数据,将所述原始增量业务数据存储至所述HDFS,并将所述原始增量业务数据的第二数据基本信息发送至所述索引服务器,所述第二数据基本信息至少包括所述原始增量业务数据在所述HDFS中的第二存储地址;
对应地,所述索引服务器获取原始增量业务数据,包括:
所述索引服务器根据所述第二数据基本信息包括的所述第二存储地址,从所述第二存储地址指示的HDFS存储位置中拉取所述原始增量业务数据。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述索引服务器按照预设的数据格式,对所述增量分片业务数据进行解析,得到解析后的增量分片业务数据;
对应地,所述索引服务器对所述增量分片业务数据进行处理,得到具有预设数据结构的增量业务数据,包括:
所述索引服务器对所述解析后的增量分片业务数据进行处理,得到具有预设数据结构的所述增量业务数据。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述目标服务器获取全量数据版本信息,并根据所述全量数据版本信息,从所述HDFS拉取所述全量数据版本信息对应的全量业务数据,所述全量数据版本信息是所述索引服务器基于所述全量业务数据在所述目标服务器中更新的;
所述目标服务器将所述全量业务数据加载至内存以供客户端访问。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
所述目标服务器若检测到重启触发事件,则根据所述更新的数据版本信息从所述HDFS拉取所述增量业务数据,并根据所述全量数据版本信息从所述HDFS拉取所述全量业务数据;
所述目标服务器将拉取的所述增量业务数据和所述全量业务数据加载至内存以供客户端访问。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州华多网络科技有限公司,未经广州华多网络科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010959886.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:机载DC-DC转换模块
- 下一篇:应用访问方法、装置、电子设备及存储介质