[发明专利]一种数据表的数据更新方法、数据更新系统及存储介质

说明书

本申请实施例公开了一种数据表的数据更新方法、数据更新系统及存储介质，用于数据更新技术领域。本申请实施例方法包括：获取上游数据表以及下游数据表之间的数据映射关系，并对数据映射关系进行分析得到数据映射要素，其中，下游数据表为基于上游数据表中的数据生成的；当上游数据表中的数据发生变更时，将上游数据表的变更数据存入预设消息队列；从预设消息队列中取出第一变更数据，根据所述第一变更数据对应的变更情况以及数据映射要素，生成下游更新语句；使用下游更新语句更新下游数据表中的数据。通过第一变更数据对应的变更情况以及数据映射要素，生成下游更新语句更新下游数据表中的数据，能够提高下游数据表中数据更新的效率。

技术领域

本申请实施例涉及数据更新技术领域，尤其涉及一种数据表的数据更新方法、数据更新系统及存储介质。

背景技术

在数据类应用开发中，经常需要将多个上游数据表，通过过滤、关联、分组等操作生成下游数据表，如将存储于多个上游数据表中关于同一个对象实体的多种信息组合起来，以宽表的形式存储为一个下游数据表，能加快应用的查询速度，通常的做法是针对每一个下游数据表编写一个数据抽取脚本，数据抽取脚本需要实现从上游数据表进行增量数据感知、上下游数据表的数据转换以及下游数据表写入数据等操作。

然而，对于每一个下游数据表需要编写一个对应的数据抽取脚本，当下游数据表较多时对应的编写工作量较大。而当多个下游数据表依赖一个上游数据表时，若上游数据表的发生数据变更，每一下游数据表需要重复性地访问上游数据表，容易对上游数据表的运行负载造成严重负担，影响数据更新的效率。且现有的当上游数据表发生数据变更时，未确定下游数据表的最小变更量，而是全盘更新下游数据表的数据，容易影响下游数据表中数据更新的效率。

发明内容

本申请实施例提供了一种数据表的数据更新方法、数据更新系统及存储介质，能够能够提高下游数据表中数据更新的效率。

本申请实施例提供了一种数据表的数据更新方法，包括：

获取上游数据表以及下游数据表之间的数据映射关系，并对所述数据映射关系进行分析得到数据映射要素，其中，所述下游数据表为基于所述上游数据表中的数据生成的；

当所述上游数据表中的数据发生变更时，将所述上游数据表的变更数据存入预设消息队列；

从所述预设消息队列中取出第一变更数据，根据所述第一变更数据对应的变更情况以及所述数据映射要素，生成下游更新语句；

使用下游更新语句更新所述下游数据表中的数据。

进一步的，所述从所述预设消息队列中取出第一变更数据包括：

当所述预设消息队列中包含重复数据，则对所述重复数据进行去重处理；

当所述预设消息队列中包含对所述上游数据表的同一位置进行多次替换的替换数据，则保留在时间顺序上的最后一个替换数据，删除其余替换数据；从剩余的变更数据中取出所述第一变更数据。

进一步的，所述第一变更数据对应的变更情况包括：所述第一变更数据为在所述上游数据表中新增的数据；

当所述数据映射要素包括过滤条件以及第一映射关系时，所述根据所述第一变更数据对应的变更情况以及所述数据映射要素，生成下游更新语句包括：

确定所述第一变更数据是否满足所述过滤条件；

若是，则根据所述第一映射关系，生成在所述下游数据表中新增数据的更新语句，所述更新语句指示在所述下游数据表中新增与所述第一变更数据关联的数据；

若否，则过滤所述第一变更数据。

进一步的，所述第一映射关系为分组统计类映射关系或直接映射关系，所述根据所述第一映射关系，生成在所述下游数据表中新增数据的更新语句包括：