[发明专利]一种数据湖更新处理方法、装置、存储介质及电子装置

权利要求书

1.一种数据湖更新处理方法，其特征在于，包括：

从数据湖的变更信息列表中获取待更新数据；

从所述数据湖的Git表中读取所述待更新数据对应的master版本；

根据所述master版本生成变更脚本；

在所述数据湖中根据所述变更脚本对所述待更新数据进行更新。

2.根据权利要求1所述的方法，其特征在于，在从所述数据湖的Git表中读取所述待更新数据对应的master版之前，所述方法还包括：

接收对生成变更脚本组件的触控指令；

基于所述触控指令，通过版本管理工具连接所述数据湖的Git表。

3.根据权利要求1所述的方法，其特征在于，根据所述master版本生成变更脚本包括：

获取所述待更新数据的变更信息，其中，所述变更信息包括：表场景、变更类型、异常数据SQL条件、上线时间、变更原因；

根据所述变更信息生成对应的所述变更脚本；

通过压缩包的方式保存所述变更脚本。

4.根据权利要求1至3中任一项所述的方法，其特征在于，在从数据湖的变更信息列表中获取待更新数据之前，所述方法还包括：

将所述待更新数据的变更信息添加到所述变更信息列表中，其中，所述变更信息包括：表场景、变更类型、异常数据SQL条件、上线时间、变更原因。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

接收所述变更信息列表中变更信息的维护指令；

根据所述维护指令在所述变更信息列表中的变更信息进行维护；

根据所述变更信息列表中的变更信息的维护时间变更所述变更信息列表中的变更信息的排序。

6.根据权利要求5所述的方法，其特征在于，根据所述维护指令在所述变更信息列表中的变更信息进行维护包括以下至少之一：

根据添加指令新增所述变更信息列表中的变更信息；

根据变更指令变更所述变更信息列表中的变更信息；

根据删除指令删除所述变更信息列表中的变更信息；

其中，所述维护指令包括所述添加指令、所述变更指令、所述删除指令。

7.一种数据湖更新处理装置，其特征在于，包括：

获取模块，用于从数据湖的变更信息列表中获取待更新数据；

读取模块，用于从所述数据湖的Git表中读取所述待更新数据对应的master版本；

生成模块，用于根据所述master版本生成变更脚本；

更新模块，用于在所述数据湖中根据所述变更脚本对所述待更新数据进行更新。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第一接收模块，用于接收对生成变更脚本组件的触控指令；

连接模块，用于基于所述触控指令，通过版本管理工具连接所述数据湖的Git表。

9.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6中任一项所述的方法。