[发明专利]数据更新方法、装置、计算机设备和存储介质

说明书

本申请涉及一种数据更新方法、装置、计算机设备和存储介质。方法包括：通过获取数据更新请求；查找数据更新请求对应业务数据表的数据标记，数据标记用于标记业务数据表的重要程度；根据数据标记所标记的业务数据表的重要程度，确定所述业务数据表中的待更新分区；获取待更新分区对应的增量数据，根据增量数据对待更新分区内的业务数据表进行更新。本申请通过在获取数据更新请求后，依据预先的数据标记所标记的业务数据表的重要程度高低，来查找业务数据表中需要更新的分区，通过只对重要程度高的分区进行更新，可以有效保证数据更新的效率。

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据更新方法、装置、计算机设备和存储介质。

背景技术

随着互联网的快速发展以及数据的快速增涨，人们逐渐的认识到数据在整个互联网发展中的战略重要性。数据量爆发式的增长也促进了数据的存储、计算、组织以及分析等领域的长足发展，透过数据仓库理论所特有的资料储存架构，做有系统的分析整理，以利各种分析方法如联机分析处理、数据挖掘之进行，并进而支持如决策支持系统之创建，帮助决策者能快速有效的从大量资料中，分析出有价值的资讯，以利决策拟定及快速回应外在环境变动，帮助建构商业智能。维度建模作为数据仓库建模中重要的建设方法，囊括了全部的业务过程和维度，设计过程集合了业务开发、数据设计人员、数据应用人员，确保数据能完整记录和合理的抽象。该设计重新规划了数仓结构和数据规范，确保数据层次清晰，具有高可用性和易用性。

如对于维度模型中的缓慢变化维以及累积快照事实表面临着历史分区的更新问题，面对历史数据的更新，通常是根据更新时间获取变化的业务数据，而上述这类表，通常是以创建日期作为分区，变化的业务数据可能涉及到比较久之前的分区，为此需要找到这些分区进行更新，或者是全量更新，在表数据量比较大时，必须使用增量更新的方法，但由于数据仓库基础工具Hive的机制问题，尽管找到了这些需要更新的分区，但Hive仍然会扫描全表，耗时非常长，甚至导致作业失败。

发明内容

基于此，有必要针对上述技术问题，提供一种能够有效提高数据更新效率的数据更新方法、装置、计算机设备和存储介质。

一种数据更新方法，所述方法包括：

获取数据更新请求；

查找所述数据更新请求对应业务数据表的数据标记，所述数据标记用于标记所述业务数据表的重要程度；

根据所述数据标记所标记的业务数据表的重要程度，确定所述业务数据表中的待更新分区；

获取所述待更新分区对应的增量数据，根据所述增量数据对所述待更新分区内的业务数据表进行更新。

在其中一个实施例中，所述查找所述数据更新请求对应业务数据表的数据标记之前，还包括：

获取业务过程分类表以及各业务过程对应的业务字段分类表；

根据所述业务过程分类表的分类类别以及所述业务字段分类表中的分类类别，为各业务字段对应的业务数据表添加数据标记。

在其中一个实施例中，所述根据所述数据标记所标记的业务数据表的重要程度，确定所述业务数据表中的待更新分区包括：

根据所述数据标记所标记的业务数据表的重要程度，通过预设shell脚本获取所述业务数据表中的待更新分区；

将所述数据标记对应的待更新分区拼接后，将拼接后的所述待更新分区作为查询参数更新待更新分区查询语句；

根据所述更新后的待更新分区查询语句查找业务数据表中的待更新分区。

在其中一个实施例中，所述根据所述数据标记所标记的业务数据表的重要程度，确定所述业务数据表中的待更新分区包括：

调用预设UDF函数，更新待更新分区查询语句，所述预设UDF函数用于根据所述数据标记查找待更新分区；