[发明专利]基于自定义规则的ETL任务失败平台处理方法及系统

权利要求书

1.基于自定义规则的ETL任务失败平台处理方法，其特征在于，包括以下步骤：

对数据源的质量进行评估，预设所述数据源的融合策略，所述数据源的融合策略包括：只补全但不能新增、只新增但不能修改、新增且能补全和新增且能修改；

根据客户字段的特性制定客户字段的融合策略，所述客户字段的融合策略包括只新增但不能修改、只补全但不能更新、只更新但不能被清空和完全更新。

2.根据权利要求1所述的基于自定义规则的ETL任务失败平台处理方法，其特征在于，当所述数据源的数据质量低于预设指标时，执行所述只补全但不能新增的数据源的融合策略。

3.根据权利要求2所述的基于自定义规则的ETL任务失败平台处理方法，其特征在于，当所述数据源的数据质量低于已有数据时，执行所述只新增但不能修改的数据源的融合策略。

4.根据权利要求3所述的基于自定义规则的ETL任务失败平台处理方法，其特征在于，所述新增且能补全的数据源的融合策略为：只补充缺少的数据字段内容，不允许覆盖存在数据的字段内容。

5.根据权利要求4所述的基于自定义规则的ETL任务失败平台处理方法，其特征在于，当所述数据源的数据质量高于预设指标时，执行所述新增且能修改的数据源的融合策略。

6.根据权利要求5所述的基于自定义规则的ETL任务失败平台处理方法，其特征在于，所述只新增但不能修改的客户字段的融合策略为：数据字段只能在进入系统时设定，当数据字段确定后不能被执行数据更新和清除。

7.根据权利要求6所述的基于自定义规则的ETL任务失败平台处理方法，其特征在于，所述只补全但不能更新的客户字段的融合策略为：数据字段如果缺少或空值时，允许被指定数据补全，数据字段有值时不能被更新。

8.根据权利要求7所述的基于自定义规则的ETL任务失败平台处理方法，其特征在于，所述只更新但不能被清空的客户字段的融合策略为：数据字段允许被更新和补全，但数据字段不允许被清空。

9.根据权利要求8所述的基于自定义规则的ETL任务失败平台处理方法，其特征在于，所述完全更新的客户字段的融合策略为：数据字段允许清空或更新。

10.基于自定义规则的ETL任务失败平台处理系统，采用权利要求1至9任一项所述的基于自定义规则的ETL任务失败平台处理方法，其特征在于，包括：

数据源融合单元，用于对数据源的质量进行评估，预设所述数据源的融合策略，所述数据源的融合策略包括：只补全但不能新增、只新增但不能修改、新增且能补全和新增且能修改；

客户字段融合单元，用于根据客户字段的特性制定客户字段的融合策略，所述客户字段的融合策略包括只新增但不能修改、只补全但不能更新、只更新但不能被清空和完全更新。