[发明专利]用于ODS层和DW层之间的数据处理方法与系统

权利要求书

1.一种用于操作数据存储层(ODS层)和数据仓库层(DW层)之间的数据处理系统，其特征在于，所述系统包括：

第一连接组件，用于从所述ODS层中读取数据；

第二连接组件，用于将所述数据或对该数据进行处理后得到的已处理数据输出到所述DW层；

数据校验组件，用于：根据所述第一连接组件读取的至少部分数据和所述第二连接组件输出的至少部分数据，检验从所述ODS层到所述DW层的数据传输质量。

2.根据权利要求1所述的数据处理系统，其特征在于，所述数据包括所述ODS层新增的一个或多个文件；

所述第一连接组件被配置流式数据接口和多个读操作任务，其中：

所述流式数据接口，用于获取所述一个或多个文件；

各个读操作任务，用于根据所述流式数据接口的分配，从所述ODS层中读取相应的文件。

3.根据权利要求2所述的数据处理系统，其特征在于，

所述流式数据接口，还用于：获取上游节点提供的最新分区的分区增量索引；及根据所述分区增量索引，在所述ODS层中的最新分区下获取所述一个或多个文件。

4.根据权利要求2所述的数据处理系统，其特征在于，

所述各个读操作任务，还用于向所述流式数据接口发送文件读取状态；

所述流式数据接口，根据所述各个读操作任务返回的文件读取状态，调整所述分配。

5.根据权利要求1所述的数据处理系统，其特征在于，

所述第二连接组件被配置多个流写入操作任务和流写入协调组件，其中：

各个流写入操作任务，用于：对所述DW层进行数据写入操作，并向所述流写入协调组件汇报写入进度；

所述流写入协调组件，用于：根据各个流写入操作任务汇报的写入进度，确定当前分区的分区数据是否已经写入完毕；若写入完毕，则触发所述数据校验组件。

6.根据权利要求1所述的数据处理系统，其特征在于，所述DW层提供有HUDI表；

所述第二连接组件，还用于：将所述数据或所述已处理数据写入到所述HUDI表中。

7.根据权利要求6所述的数据处理系统，其特征在于，所述写入的方式为Append且不合并。

8.根据权利要求1至7任意一项所述的数据处理系统，其特征在于，若将所述数据写入到所述DW层；

所述数据校验组件，用于：对比所述第一连接组件读取的至少部分数据和所述第二连接组件输出的至少部分数据是否一致；及根据比对结果确定所述数据传输质量。

9.根据权利要求1至7任意一项所述的数据处理系统，其特征在于，若将所述已处理数据写入到所述DW层；

所述数据校验组件，用于：根据针对所述数据的预设处理逻辑，对所述第一连接组件读取的至少部分数据进行离线处理，得到离线数据；对比所述离线数据和所述第二连接组件输出的至少部分数据是否一致；及根据比对结果确定所述数据传输质量。

10.根据权利要求1至7任意一项所述的数据处理系统，其特征在于，还包括：

数据处理组件，用于：根据预设处理逻辑处理所述数据，以得到所述已处理数据。

11.根据权利要求1至7任意一项所述的数据处理系统，其特征在于，还包括：

分区提交组件，用于：提交已经写入到所述DW层的分区数据的分区信息；

其中，所述分区信息包括HUDI表的HUID分区信息和兼容Hive表的Hive分区信息。

12.一种用于ODS层和DW层之间的数据处理方法，其特征在于，所述方法包括：

从所述ODS层中读取数据；

将所述数据或对该数据进行处理后得到的已处理数据输出到所述DW层；

根据读取的至少部分数据和输出的至少部分数据，检验从所述ODS层到所述DW层的数据传输质量。