[发明专利]增量数据处理方法及装置、计算机设备、计算机存储介质在审
申请号: | 201810462762.1 | 申请日: | 2018-05-15 |
公开(公告)号: | CN108681590A | 公开(公告)日: | 2018-10-19 |
发明(设计)人: | 田涛;张军 | 申请(专利权)人: | 普信恒业科技发展(北京)有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京超凡志成知识产权代理事务所(普通合伙) 11371 | 代理人: | 陈剑 |
地址: | 100000 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 转换规则 目标业务系统 增量数据 计算机存储介质 计算机设备 数据处理 构建 转换 业务系统 源数据库 自动确定 异构性 省时 申请 省力 匹配 查找 发送 开发 | ||
1.一种增量数据处理方法,其特征在于,所述方法包括:
从源数据库获取与目标业务系统相关的增量数据;
从预先构建的各个转换规则中,查找与所述目标业务系统相对应的转换规则;
根据查找到的转换规则,将获取的所述增量数据进行转换;
将转换后的增量数据发送至所述目标业务系统。
2.根据权利要求1所述的方法,其特征在于,所述转换规则包括将第一字段转换为第二字段,所述根据查找到的转换规则,将获取的所述增量数据进行转换,包括:
从获取的增量数据中,查找所述第一字段,将查找出的第一字段转换为第二字段,得到转换后的增量数据。
3.根据权利要求1所述的方法,其特征在于,所述转换规则包括将至少两个第三字段进行逻辑运算,所述根据查找到的转换规则,将获取的所述增量数据进行转换,包括:
从获取的增量数据中,查找每个所述第三字段及其对应的字段值;
将查找到的字段值按照所述转换规则进行逻辑运算,得到转换后的增量数据。
4.根据权利要求1所述的方法,其特征在于,所述转换规则包括条件表达式,所述条件表达式包括条件以及条件对应的结果,所述根据查找到的转换规则,将获取的所述增量数据进行转换,包括:
判断获取的增量数据是否满足所述条件,若是,将所述条件对应的结果作为所述转换后的增量数据。
5.根据权利要求1所述的方法,其特征在于,在所述从源数据库获取与目标业务系统相关的增量数据之后,所述方法还包括:
基于获取的所述增量数据,确定所述源数据库中对应于该增量数据的主键;
基于确定的主键,从所述源数据库中查找关联数据;其中,所述关联数据包括历史关联数据和增量关联数据。
6.根据权利要求5所述的方法,其特征在于,所述根据查找到的转换规则,将获取的所述增量数据进行转换,包括:
根据查找到的转换规则,将获取的所述增量数据、所述历史关联数据和所述增量关联数据分别进行转换。
7.根据权利要求1所述的方法,其特征在于,所述从源数据库获取与目标业务系统相关的增量数据,包括:
监测源数据库是否存在数据变化;
若是,则通过日志解析方式解析发生变化的数据,得到所述增量数据。
8.根据权利要求7所述的方法,其特征在于,所述监测源数据库是否存在数据变化,包括:
将数据从源数据库转储到数据库增量日志解析服务器中;
基于所述数据库增量日志解析服务器判断所述源数据库是否存在数据变化;
所述通过日志解析方式解析发生变化的数据,包括:
在判断出所述源数据库存在数据变化时,通过所述数据库增量日志解析服务器,对发生变化的数据进行解析。
9.根据权利要求8所述的方法,其特征在于,所述基于所述数据库增量日志解析服务器判断所述源数据库是否存在数据变化,包括:
所述数据库增量日志解析服务器将自身模拟为备份数据库;
根据所述备份数据库与所述源数据库之间的通信协议,向所述源数据库发送推送指示请求,以使所述源数据库根据所述推送指示请求将数据变化事件逐一返回至所述备份数据库;
基于所述源数据库返回的所述数据变化事件生成消息队列;
对所述消息队列进行分析,根据分析结果确定所述源数据库是否存在数据变化。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于普信恒业科技发展(北京)有限公司,未经普信恒业科技发展(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810462762.1/1.html,转载请声明来源钻瓜专利网。