[发明专利]一种数据处理方法、系统及电子设备和存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取针对ETL作业定义的第一类SQL脚本；

对所有所述第一类SQL脚本进行自动解析，得到所述ETL作业之间的第一类依赖关系；

利用第一自动检测脚本检测所述第一类依赖关系中是否存在依赖错误，所述自动检测脚本用于检测依赖关系是否符合基于预设依赖规则；

若所述第一类依赖关系中不存在依赖错误，则发布所述ETL作业上线，并根据所述第一类依赖关系生成各所述ETL作业对应的作业产出表之间的数据血缘关系。

2.根据权利要求1所述的数据处理方法，其特征在于，所述利用第一自动检测脚本检测所述第一类依赖关系中是否存在依赖错误之后，还包括：

若所述第一类依赖关系中存在依赖错误，则返回告警提示信息，所述告警提示信息包括错误出现位置、错误类型和错误描述信息。

3.根据权利要求1所述的数据处理方法，其特征在于，还包括：

获取针对数据接口定义的第二类SQL脚本；

利用第二自动检测脚本对所述第一类SQL脚本和所述第二类SQL脚本进行自动解析，检测各个数据接口所依赖的所述ETL作业和所述作业产出表是否存在；

如果是，则将所述数据接口发布至联调环境进行联调测试，并在测试通过后发布所述数据接口上线。

4.根据权利要求3所述的数据处理方法，其特征在于，所述利用第二自动检测脚本对所述第一类SQL脚本和所述第二类SQL脚本进行自动解析，检测各个数据接口所依赖的所述ETL作业和所述作业产出表是否存在，包括：

利用所述第二自动检测脚本对所述第一类SQL脚本和所述第二类SQL脚本进行语法分析，确定作业与数据接口之间的第二类依赖关系；

根据所述第二类依赖关系执行所述ETL作业，得到各层输出的实际数据产出表；

基于所述实际数据产出表和所述第一类SQL脚本定义的ETL作业，校验所述数据接口所依赖的所述ETL作业和所述作业产出表是否存在。

5.根据权利要求4所述的数据处理方法，其特征在于，所述利用所述第二自动检测脚本对所述第一类SQL脚本和所述第二类SQL脚本进行语法分析，确定作业与数据接口之间的第二类依赖关系之后，还包括：

通过预设视图对所述第一类依赖关系、所述第二类依赖关系和所述数据血缘关系进行显示。

6.根据权利要求1至5任一项所述的数据处理方法，其特征在于，所述根据所述第一类依赖关系生成各所述ETL作业对应的作业产出表之间的数据血缘关系示意图之后，还包括：

根据所述第一类依赖关系、作业与数据接口之间的第二类依赖关系以及所述数据血缘关系，定时检测系统中是否存在无依赖的空跑作业；

将检测到的所述空跑作业返回至用户终端，以接收所述用户终端下发的选择指令，根据所述选择指令确定是否对所述空跑作业进行下线处理。

7.根据权利要求6所述的数据处理方法，其特征在于，所述根据所述选择指令确定是否对所述空跑作业进行下线处理之后，还包括：

若检测到任一所述ETL作业下线后，对所述第一类依赖关系、所述第二类依赖关系以及所述数据血缘关系示意图进行自动更新。

8.一种数据处理系统，其特征在于，包括：

脚本获取模块，用于获取针对ETL作业定义的第一类SQL脚本；

脚本解析模块，用于对所有所述第一类SQL脚本进行自动解析，得到所述ETL作业之间的第一类依赖关系；

错误检测模块，用于利用第一自动检测脚本检测所述第一类依赖关系中是否存在依赖错误，所述自动检测脚本用于检测依赖关系是否符合基于预设依赖规则；

作业发布模块，用于若所述第一类依赖关系中不存在依赖错误，则发布所述ETL作业上线，并根据所述第一类依赖关系生成各所述ETL作业对应的作业产出表之间的数据血缘关系。