[发明专利]基于金融云端数据仓库和数据湖的数据管理方法和系统

权利要求书

1.一种基于金融云端数据仓库和数据湖的数据管理方法，其特征在于，包括：

步骤1：在引入新的数据源时，根据数据性质和数据价值，区分骨干数据和边缘数据；

步骤2：对于骨干数据，按照数据模型建设思路，对原始数据进行表级分析、字段级分析，根据分析结果完成骨干数据的引入；

步骤3：对于边缘数据，按照实时宽表引入，根据源数据格式建立目标宽表，编写ETL脚本，完成脚本单元测试，从而完成边缘数据引入。

2.根据权利要求1所述的基于金融云端数据仓库和数据湖的数据管理方法，其特征在于，所述步骤2包括：

步骤2.1：根据表级分析、字段级分析的分析结果编写Mapping，明确数据表或者字段的模型定位，并生成ETL脚本，完成脚本单元测试；

步骤2.2：在测试环境验证脚本逻辑正确性、准确性，同时完成数据质量检核，包括数据唯一性、数据关联度、数据标准性；

步骤2.3：上线脚本，配置调度，完成骨干数据引入。

3.根据权利要求1所述的基于金融云端数据仓库和数据湖的数据管理方法，其特征在于，所述步骤3包括：

步骤3.1：在测试环境验证脚本逻辑正确性、准确性；

步骤3.2：上线脚本，配置调度，确定数据保留策略，完成边缘数据引入；

步骤3.3：在引入边缘数据时明确数据消费者，并进行数据生命周期管理。

4.根据权利要求1所述的基于金融云端数据仓库和数据湖的数据管理方法，其特征在于，所述骨干数据包括账户、客户、机构、账务和渠道数据；将骨干数据按模型建设思路整合到数据仓库，保证引入数据的集合度；

所述边缘数据包括交易明细、流水信息和统计分析宽表；使用明细事实宽表的形式存放边缘数据，同时维持边缘数据和骨干数据的关联度。

5.根据权利要求1所述的基于金融云端数据仓库和数据湖的数据管理方法，其特征在于，通过人工识别的方式区分数据性质，或者通过机器学习的方式实现数据性质的自动化区分；

通过人工识别的方式识别数据价值，数据复用率越高的数据，数据价值越高。

6.一种基于金融云端数据仓库和数据湖的数据管理系统，其特征在于，包括：

模块M1：在引入新的数据源时，根据数据性质和数据价值，区分骨干数据和边缘数据；

模块M2：对于骨干数据，按照数据模型建设思路，对原始数据进行表级分析、字段级分析，根据分析结果完成骨干数据的引入；

模块M3：对于边缘数据，按照实时宽表引入，根据源数据格式建立目标宽表，编写ETL脚本，完成脚本单元测试，从而完成边缘数据引入。

7.根据权利要求6所述的基于金融云端数据仓库和数据湖的数据管理系统，其特征在于，所述模块M2包括：

模块M2.1：根据表级分析、字段级分析的分析结果编写Mapping，明确数据表或者字段的模型定位，并生成ETL脚本，完成脚本单元测试；

模块M2.2：在测试环境验证脚本逻辑正确性、准确性，同时完成数据质量检核，包括数据唯一性、数据关联度、数据标准性；

模块M2.3：上线脚本，配置调度，完成骨干数据引入。

8.根据权利要求6所述的基于金融云端数据仓库和数据湖的数据管理系统，其特征在于，所述模块M3包括：

模块M3.1：在测试环境验证脚本逻辑正确性、准确性；

模块M3.2：上线脚本，配置调度，确定数据保留策略，完成边缘数据引入；

模块M3.3：在引入边缘数据时明确数据消费者，并进行数据生命周期管理。

9.根据权利要求6所述的基于金融云端数据仓库和数据湖的数据管理系统，其特征在于，所述骨干数据包括账户、客户、机构、账务和渠道数据；将骨干数据按模型建设思路整合到数据仓库，保证引入数据的集合度；

所述边缘数据包括交易明细、流水信息和统计分析宽表；使用明细事实宽表的形式存放边缘数据，同时维持边缘数据和骨干数据的关联度。

10.根据权利要求6所述的基于金融云端数据仓库和数据湖的数据管理系统，其特征在于，通过人工识别的方式区分数据性质，或者通过机器学习的方式实现数据性质的自动化区分；

通过人工识别的方式识别数据价值，数据复用率越高的数据，数据价值越高。