[发明专利]一种数据湖更新处理方法、装置、存储介质及电子装置

说明书

本发明提供了一种数据湖更新处理方法、装置、存储介质及电子装置，其中，该方法包括：从数据湖的变更信息列表中获取待更新数据；从该数据湖的Git表中读取该待更新数据对应的master版本；根据该master版本生成变更脚本；在该数据湖中根据该变更脚本对该待更新数据进行更新，可以解决相关技术中对于数据湖的数据变更，开发人员依据变更邮件，进行变更脚本开发，开发效率较低，且频繁变更版本管理困难的问题，将变更信息在系统内登记，由系统依据变更信息，自动生成变更脚本，减少人工开发过程，并将变更管理标准化、流程化、系统化。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种数据湖更新处理方法、装置、存储介质及电子装置。

背景技术

随着数据湖项目的建设，与数据湖对接的源系统逐渐增多，每月少则几百，多则上千的表不断接入数据湖。同时，源系统可能因业务发展或其他原因，引起表结构或表数据的变更。为保持数据一致，数据湖需要随源系统同步变更，并将变更通知到下游系统。

数据湖的数据变更，主要是开发人员依据变更邮件，进行变更脚本开发。每个开发人员有自己的开发风格，代码风格多样，代码可读性较差，且易出错，不利于后期维护。数据变更场景主要有异常数据删除及数据补录。相同场景的表，变更步骤基本一致，变更脚本手动开发存在大量重复工作，开发效率较低。依据邮件实施变更，缺少系统留痕，变更历史不便于后期追溯。对于频繁变更的表，版本管理困难，易造成版本混乱。

针对相关技术中对于数据湖的数据变更，开发人员依据变更邮件，进行变更脚本开发，开发效率较低，且频繁变更版本管理困难的问题，尚未提出解决方案。

发明内容

本发明实施例提供了一种数据湖更新处理方法、装置、存储介质及电子装置，以至少解决相关技术中对于数据湖的数据变更，开发人员依据变更邮件，进行变更脚本开发，开发效率较低，且频繁变更版本管理困难的问题。

根据本发明的一个实施例，提供了一种数据湖更新处理方法，包括：

从数据湖的变更信息列表中获取待更新数据；

从所述数据湖的Git表中读取所述待更新数据对应的master版本；

根据所述master版本生成变更脚本；

在所述数据湖中根据所述变更脚本对所述待更新数据进行更新。

可选地，在从所述数据湖的Git表中读取所述待更新数据对应的master版之前，所述方法还包括：

接收对生成变更脚本组件的触控指令；

基于所述触控指令，通过版本管理工具连接所述数据湖的Git表。

可选地，根据所述master版本生成变更脚本包括：

获取所述待更新数据的变更信息，其中，所述变更信息包括：表场景、变更类型、异常数据SQL条件、上线时间、变更原因；

根据所述变更信息生成对应的所述变更脚本；

通过压缩包的方式保存所述变更脚本。

可选地，在从数据湖的变更信息列表中获取待更新数据之前，所述方法还包括：

将所述待更新数据的变更信息添加到所述变更信息列表中，其中，所述变更信息包括：表场景、变更类型、异常数据SQL条件、上线时间、变更原因。

可选地，所述方法还包括：

接收所述变更信息列表中变更信息的维护指令；

根据所述维护指令在所述变更信息列表中的变更信息进行维护；

根据所述变更信息列表中的变更信息的维护时间变更所述变更信息列表中的变更信息的排序。