[发明专利]一种ETL任务自动处理方法及装置

说明书

本发明提供了一种ETL任务自动处理方法及装置，其中，方法包括：将从源数据库和LOG日志采集到的数据放入到STG层数据表；检测STG层数据表是否都有对应的ODS层数据表，若没有，则创建对应的ODS层数据表，若有，则检测STG层数据表中的数据表字段在ODS层数据表中是否都有对应的字段，若没有，则在ODS层数据表中补充对应的字段。本发明能够有效解放人力，节约人力时间成本，同时提高了效率。

技术领域

本发明涉及计算机技术领域，具体涉及一种ETL任务自动处理方法及装置。

背景技术

ETL(extract-transform-load)，即抽取、转换、装载，是数据仓库建设中重要的一环，从数据源抽取所需数据，经过数据清洗和转换，最终按照预先定义好的数据仓库模型，把数据加载到数据仓库中去。

然而，目前关于数据清洗和转换工作，需要人工处理，由于工作量巨大，故非常耗费人力。

发明内容

针对现有技术中的缺陷，本发明提供一种ETL任务自动处理方法及装置，本发明能够有效解放人力，节约人力时间成本，同时提高了效率。

为实现上述目的，本发明提供以下技术方案：

第一方面，本发明提供了一种ETL任务自动处理方法，包括：

将从源数据库和LOG日志采集到的数据放入到STG层数据表；

检测STG层数据表是否都有对应的ODS层数据表，若没有，则创建对应的ODS层数据表，若有，则检测STG层数据表中的数据表字段在ODS层数据表中是否都有对应的字段，若没有，则在ODS层数据表中补充对应的字段。

进一步地，在创建对应的ODS层数据表时，ODS层数据表的表名遵循如下命名规范：数据层名_源库名_源表名_更新频率和抽取方式。

进一步地，在ODS层数据表中补充对应的字段时，字段命名要与标准数据字典中的字段命名保持一致，其中，标准数据字典中包含以下几个字段：STG层表名、STG层表字段英文名、STG层表字段中文名、STG层表字段数据类型、ODS层表名、ODS层表字段标准英文名、ODS层表字段标准中文名、ODS层表字段标准数据类型和ODS层表字段默认值。

进一步地，所述方法还包括：将数据从STG层数据表转移到ODS层数据表。

进一步地，所述方法还包括：当出现ETL任务失败时，判断失败原因是否为ETL调度系统不稳定，若是，则把ETL任务调起重试，否则判断是否为程序员修改ETL任务导致，若是，则将ETL任务回滚到修改前的任务版本，以保证ETL任务的正常执行，并且发邮件通知对应ETL任务的负责人，任务版本已回滚，否则判断发生失败的ETL任务是否为数据资产等级高于第一预设阈值或下游影响范围大于第二预设阈值的ETL任务，若是，则发出提示信息，以提示运维值班人员及时处理，否则保存该失败任务，以待运维人员或ETL负责人在正常上班时间处理。

第二方面，本发明还提供了一种ETL任务自动处理装置，包括：

转移模块，用于将从源数据库和LOG日志采集到的数据放入到STG层数据表；

检测模块，用于检测STG层数据表是否都有对应的ODS层数据表，若没有，则创建对应的ODS层数据表，若有，则检测STG层数据表中的数据表字段在ODS层数据表中是否都有对应的字段，若没有，则在ODS层数据表中补充对应的字段。

进一步地，所述检测模块在创建对应的ODS层数据表时，ODS层数据表的表名遵循如下命名规范：数据层名_源库名_源表名_更新频率和抽取方式。