[发明专利]基于自定义规则的ETL任务失败平台处理方法及系统

说明书

基于自定义规则的ETL任务失败平台处理方法及系统，对数据源的质量进行评估，预设所述数据源的融合策略，所述数据源的融合策略包括：只补全但不能新增、只新增但不能修改、新增且能补全和新增且能修改；根据客户字段的特性制定客户字段的融合策略，所述客户字段的融合策略包括只新增但不能修改、只补全但不能更新、只更新但不能被清空和完全更新。本发明对各个数据源进行质量评估，保证数据在融合后的质量，避免低质的数据源将高质的数据源的数据覆盖，确保数据的质量，减少人力介入，且能够对已有客户数据特殊字段进行保护。

技术领域

本发明涉及大数据处理技术领域，具体涉及一种基于自定义规则的ETL任务失败平台处理方法及系统。

背景技术

目前，ETL任务用于定义数据的抽取，转换及装载规则。而ETL任务调度用于控制ETL任务的启动运行(启动时间、运行周期及触发条件)，实现数据的传输转换操作。ETL调度按照功能复杂度分为简单定时调度和工作流调度二种方式，定时调度用于控制ETL任务按照某一时间属性周期运行，如在每个工作日的19点启动交易数据采集任务或每月1号启动报表数据汇总任务。工作流调度采用模块化方法对ETL过程涉及的各个环节进行协同管理，将ETL整个过程分解为多个数据处理子任务。

现有的多数据源客户数据融合的方法，主要在各个数据源中抽取需要的字段，配置好相关的映射后数据统一进入数据湖中。各个数据源缺乏质量评估，不能保证数据在融合后的质量，存在低质的数据源将高质的数据源的数据覆盖的问题。为了确保数据的质量，需要大量的人力介入。没有对数据源的质量做出评估。低质量的数据，可能会覆盖高质量的数据。缺少针对系统中已有客户数据特殊字段的保护措施。

发明内容

为此，本发明提供一种基于自定义规则的ETL任务失败平台处理方法及系统，以解决现有技术中不能保证数据在融合后的质量，存在低质的数据源将高质的数据源的数据覆盖，及对已有客户数据特殊字段缺少保护措施的问题。

为了实现上述目的，本发明提供如下技术方案：基于自定义规则的ETL任务失败平台处理方法，包括以下步骤：

对数据源的质量进行评估，预设所述数据源的融合策略，所述数据源的融合策略包括：只补全但不能新增、只新增但不能修改、新增且能补全和新增且能修改；

根据客户字段的特性制定客户字段的融合策略，所述客户字段的融合策略包括只新增但不能修改、只补全但不能更新、只更新但不能被清空和完全更新。

作为基于自定义规则的ETL任务失败平台处理方法的优选方案，当所述数据源的数据质量低于预设指标时，执行所述只补全但不能新增的数据源的融合策略。

作为基于自定义规则的ETL任务失败平台处理方法的优选方案，当所述数据源的数据质量低于已有数据时，执行所述只新增但不能修改的数据源的融合策略。

作为基于自定义规则的ETL任务失败平台处理方法的优选方案，所述新增且能补全的数据源的融合策略为：只补充缺少的数据字段内容，不允许覆盖存在数据的字段内容。

作为基于自定义规则的ETL任务失败平台处理方法的优选方案，当所述数据源的数据质量高于预设指标时，执行所述新增且能修改的数据源的融合策略。

作为基于自定义规则的ETL任务失败平台处理方法的优选方案，所述只新增但不能修改的客户字段的融合策略为：数据字段只能在进入系统时设定，当数据字段确定后不能被执行数据更新和清除。

作为基于自定义规则的ETL任务失败平台处理方法的优选方案，所述只补全但不能更新的客户字段的融合策略为：数据字段如果缺少或空值时，允许被指定数据补全，数据字段有值时不能被更新。

作为基于自定义规则的ETL任务失败平台处理方法的优选方案，所述只更新但不能被清空的客户字段的融合策略为：数据字段允许被更新和补全，但数据字段不允许被清空。