[发明专利]增量数据处理方法及装置、计算机设备、计算机存储介质

说明书

本申请提供了一种增量数据处理方法及装置、计算机设备、计算机存储介质，其中，该方法包括：从源数据库获取与目标业务系统相关的增量数据；从预先构建的各个转换规则中，查找与目标业务系统相对应的转换规则；根据查找到的转换规则，将获取的增量数据进行转换；将转换后的增量数据发送至目标业务系统。通过本申请提供的增量数据处理方法及装置、计算机设备、计算机存储介质，能够根据预先构建的转换规则自动确定与目标业务系统对应的转换规则，并基于匹配的转换规则进行增量数据的转换，消除了各业务系统之间的异构性，且对开发人员的要求较低，省时省力。

技术领域

本申请涉及计算机处理技术领域，具体而言，涉及一种增量数据处理 方法及装置、计算机设备、计算机存储介质。

背景技术

随着互联网技术的深入应用，互联网数据无论是在数据流量、数据处 理量或是数据存储量上都变得越来越大。其中，互联网系统数据一般存储 在关系型数据库(即源数据库)当中，如Mysql、Oracle和Sqlserver等。 在实际应用中，往往需要从上述关系型数据库中抽取相应的数据以满足不 同业务系统的业务需求。

常见的数据抽取方法有全量抽取和增量抽取，其中，全量抽取是指将 数据源中的表或视图等数据原封不动地从数据库中抽取出来；而增量抽取 是指从数据库中抽取自上次抽取以来新增、修改和/或删除的数据。在数据 库的抽取-转换-加载(Extract-Transform-Load，ETL)过程中，增量抽取较 全量抽取的应用更为广泛。

在相关技术中，当从源数据库中抽取相应的增量数据以满足多个业务 系统的需求时，主要是由开发人员针对每个业务系统进行硬编码操作来实 现。然而，考虑到每个业务系统的业务管理逻辑并不同，这对开发人员的 要求较高，开发较为复杂，费时费力。

发明内容

有鉴于此，本申请实施例的目的在于提供一种增量数据处理方法及装 置、计算机设备、计算机存储介质，以消除各业务系统之间的异构性，对 开发人员的要求较低，省时省力。

为了解决前述问题，本申请实施例提供了一种增量数据处理方法，所 述方法包括：

从源数据库获取与目标业务系统相关的增量数据；

从预先构建的各个转换规则中，查找与所述目标业务系统相对应的转 换规则；

根据查找到的转换规则，将获取的所述增量数据进行转换；

将转换后的增量数据发送至所述目标业务系统。

可选的，所述转换规则包括将第一字段转换为第二字段，所述根据查 找到的转换规则，将获取的所述增量数据进行转换，包括：

从获取的增量数据中，查找所述第一字段，将查找出的第一字段转换 为第二字段，得到转换后的增量数据。

可选的，所述转换规则包括将至少两个第三字段进行逻辑运算，所述 根据查找到的转换规则，将获取的所述增量数据进行转换，包括：

从获取的增量数据中，查找每个所述第三字段及其对应的字段值；

将查找到的字段值按照所述转换规则进行逻辑运算，得到转换后的增 量数据。

可选的，所述转换规则包括条件表达式，所述条件表达式包括条件以 及条件对应的结果，所述根据查找到的转换规则，将获取的所述增量数据 进行转换，包括：

判断获取的增量数据是否满足所述条件，若是，将所述条件对应的结 果作为所述转换后的增量数据。

可选的，在所述从源数据库获取与目标业务系统相关的增量数据之后， 所述方法还包括：

基于获取的所述增量数据，确定所述源数据库中对应于该增量数据的 主键；