[发明专利]数据处理方法、装置、服务器及计算机可读存储介质有效
申请号: | 201811283618.8 | 申请日: | 2018-10-31 |
公开(公告)号: | CN109379432B | 公开(公告)日: | 2021-10-26 |
发明(设计)人: | 肖海松 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08 |
代理公司: | 深圳市隆天联鼎知识产权代理有限公司 44232 | 代理人: | 刘抗美;胡明 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 服务器 计算机 可读 存储 介质 | ||
1.一种数据处理方法,其特征在于,包括:
通过配置的多条链路,并行接收经由接入层转发的数据处理请求,所述数据处理请求由至少一数据源并发至所述接入层;
针对每一链路,对接收到数据处理请求中的数据进行去重处理;
通过为业务逻辑处理提供数据关联查询服务的数据中间件,在各链路上对去重处理的数据进行业务逻辑处理,每一链路挂载一个数据中间件,且不同链路挂载的数据中间件之间的数据相互同步;
将各链路上完成业务逻辑处理的数据合并,并对合并的数据进行去重处理。
2.如权利要求1所述的方法,其特征在于,所述数据中间件包括数据库,所述方法还包括:在不同链路所挂载数据库之间进行源数据表与目的数据表的同步;
所述在不同链路所挂载数据库之间进行源数据表与目的数据表的同步,包括:
获取为进行源数据表与目的数据表同步而配置的唯一字段名;
从所述源数据表和所述目的数据表中分别提取该唯一字段名所标识的记录;
根据提取记录中字段的字段信息,将提取到的记录对应存储至源缓存映射表和目的缓存映射表;
通过所述源缓存映射表与所述目的缓存映射表之间的比较,差异化更新所述目的数据表。
3.如权利要求2所述的方法,其特征在于,所述字段信息包括用于指示字段是否属于主键的主键标记;
所述根据提取记录中字段的字段信息,将提取到的记录对应存储至源缓存映射表和目的缓存映射表,包括:
对提取到记录中的字段进行遍历;
如果遍历到字段的主键标记指示遍历到的字段属于主键,则对遍历到的字段进行序列化,得到第一序列化数据;
如果遍历到字段的主键标记指示遍历到的字段不属于主键,则对遍历到的字段进行序列化,得到第二序列化数据;
直至完成提取到记录中字段的遍历,以所述第一序列化数据作为键,以所述第二序列化数据作为该键的键值,对应存储至所述源缓存映射表和所述目的缓存映射表。
4.如权利要求2所述的方法,其特征在于,所述通过所述源缓存映射表与所述目的缓存映射表之间的比较,差异化更新所述目的数据表,包括:
比较所述源缓存映射表与所述目的缓存映射表,得到差异化结果;
对所述差异化结果进行反序列化,得到反序列化数据;
将所述反序列化数据更新至所述目的数据表。
5.如权利要求1所述的方法,其特征在于,所述数据中间件包括挂载于同一链路的数据库和共享内存,所述方法还包括:针对同一链路,在所述数据库中的数据表与共享内存之间进行同步;
所述针对同一链路,在所述数据库中的数据表与共享内存之间进行同步,包括:
获取为进行数据表与共享内存同步而配置的唯一字段名;
从所述数据表中获取该唯一字段名所标识的记录;
根据获取记录中字段的字段信息,将获取到的记录更新至第一哈希表。
6.如权利要求5所述的方法,其特征在于,所述字段信息包括用于指示字段是否属于主键的主键标记;
所述根据获取记录中字段的字段信息,将获取到的记录更新至第一哈希表,包括:
对获取到记录中的字段进行遍历;
如果遍历到字段的主键标记指示遍历到的字段属于主键,则对遍历到的字段进行结构化,得到第一结构化数据;
如果遍历到字段的主键标记指示遍历到的字段不属于主键,则对遍历到的字段进行结构化,得到第二结构化数据;
直至完成获取到记录中字段的遍历,以所述第一结构化数据作为键,以所述第二结构化数据作为该键的键值,更新至所述第一哈希表。
7.如权利要求6所述的方法,其特征在于,所述在所述数据库中数据表与共享内存之间进行同步,还包括:
获取所述第一哈希表中各键对应的时间戳;
根据获取到的时间戳,从所述第一哈希表中清除未更新的键及对应的键值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811283618.8/1.html,转载请声明来源钻瓜专利网。