[发明专利]一种ETL任务自动处理方法及装置

权利要求书

1.一种ETL任务自动处理方法，其特征在于，包括：

将从源数据库和LOG日志采集到的数据放入到STG层数据表；

检测STG层数据表是否都有对应的ODS层数据表，若没有，则创建对应的ODS层数据表，若有，则检测STG层数据表中的数据表字段在ODS层数据表中是否都有对应的字段，若没有，则在ODS层数据表中补充对应的字段；

其中，所述方法还包括：

当出现ETL任务失败时，判断失败原因是否为ETL调度系统不稳定，若是，则把ETL任务调起重试，否则判断是否为程序员修改ETL任务导致，若是，则将ETL任务回滚到修改前的任务版本，以保证ETL任务的正常执行，并且发邮件通知对应ETL任务的负责人，任务版本已回滚，否则判断发生失败的ETL任务是否为数据资产等级高于第一预设阈值或下游影响范围大于第二预设阈值的ETL任务，若是，则发出提示信息，以提示运维值班人员及时处理，否则保存失败任务，以待运维人员或ETL负责人在正常上班时间处理；

其中，在创建对应的ODS层数据表时，ODS层数据表的表名遵循如下命名规范：数据层名_源库名_源表名_更新频率和抽取方式；

其中，所述方法还包括：

将数据从STG层数据表转移到ODS层数据表；

其中，在ODS层数据表中补充对应的字段时，字段命名要与标准数据字典中的字段命名保持一致，其中，标准数据字典中包含以下几个字段：STG层表名、STG层表字段英文名、STG层表字段中文名、STG层表字段数据类型、ODS层表名、ODS层表字段标准英文名、ODS层表字段标准中文名、ODS层表字段标准数据类型和ODS层表字段默认值；

其中，以当前标准数据字典中的数据，作为机器学习的训练集，基于机器学习中的k-近邻算法，得到ODS层表字段的命名、数据类型和默认值，以完成生成建表或添加字段的ETL任务。

2.一种ETL任务自动处理装置，其特征在于，包括：

转移模块，用于将从源数据库和LOG日志采集到的数据放入到STG层数据表；

检测模块，用于检测STG层数据表是否都有对应的ODS层数据表，若没有，则创建对应的ODS层数据表，若有，则检测STG层数据表中的数据表字段在ODS层数据表中是否都有对应的字段，若没有，则在ODS层数据表中补充对应的字段；

其中，所述检测模块，还用于：

当出现ETL任务失败时，判断失败原因是否为ETL调度系统不稳定，若是，则把ETL任务调起重试，否则判断是否为程序员修改ETL任务导致，若是，则将ETL任务回滚到修改前的任务版本，以保证ETL任务的正常执行，并且发邮件通知对应ETL任务的负责人，任务版本已回滚，否则判断发生失败的ETL任务是否为数据资产等级高于第一预设阈值或下游影响范围大于第二预设阈值的ETL任务，若是，则发出提示信息，以提示运维值班人员及时处理，否则保存失败任务，以待运维人员或ETL负责人在正常上班时间处理；

其中，所述检测模块在创建对应的ODS层数据表时，ODS层数据表的表名遵循如下命名规范：数据层名_源库名_源表名_更新频率和抽取方式；

其中，所述装置还包括处理模块，所述处理模块用于将数据从STG层数据表转移到ODS层数据表；

其中，所述检测模块在ODS层数据表中补充对应的字段时，字段命名要与标准数据字典中的字段命名保持一致，其中，标准数据字典中包含以下几个字段：STG层表名、STG层表字段英文名、STG层表字段中文名、STG层表字段数据类型、ODS层表名、ODS层表字段标准英文名、ODS层表字段标准中文名、ODS层表字段标准数据类型和ODS层表字段默认值；

其中，以当前标准数据字典中的数据，作为机器学习的训练集，基于机器学习中的k-近邻算法，得到ODS层表字段的命名、数据类型和默认值，以完成生成建表或添加字段的ETL任务。

3.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1所述ETL任务自动处理方法的步骤。

4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1所述ETL任务自动处理方法的步骤。