[发明专利]用于ODS层和DW层之间的数据处理方法与系统

说明书

本申请实施例提供了一种用于ODS层和DW层之间的数据处理方法，所述方法包括：从所述ODS层中读取数据；将所述数据或对该数据进行处理后得到的已处理数据输出到所述DW层；根据读取的至少部分数据和输出的至少部分数据，检验从所述ODS层到所述DW层的数据传输质量。本申请实施例提供的技术方案，通过引入校验机制，可以保障DW层下游的数据质量。即，在数据全部湖化前，湖仓的过程中存在联动，通过所述数据校验操作对数据质量兜底。

技术领域

本申请实施例涉及流式数据传输与处理技术领域，尤其涉及一种用于ODS层和DW层之间的数据处理方法、装置、计算机设备以及计算机可读存储介质，以及一种用于ODS层和DW层之间的数据处理系统。

背景技术

数据传输链路一般由数据源、网关、数据缓冲层、数据分发层和数据存储层构成。当数据源产生新数据时，该新数据会最终落地到数据存储层。数据存储层包括ODS(操作数据存储)层、DW(数据仓库)层和ADS(应用数据存储)层等。但是，在现有技术中，将ODS层的数据写入到DW层，无法评估DW层的数据质量。

发明内容

本申请实施例的目的是提供一种用于ODS层和DW层之间的数据处理系统以及一种用于ODS层和DW层之间的数据处理方法、装置、计算机设备以及计算机可读存储介质，用于解决以下问题：将ODS层的数据写入到DW层，无法评估DW层的数据质量。

本申请实施例的一个方面提供了一种用于ODS层和DW层之间的数据处理系统，所述系统包括：

第一连接组件，用于从所述ODS层中读取数据；

第二连接组件，用于将所述数据或对该数据进行处理后得到的已处理数据输出到所述DW层；

数据校验组件，用于：根据所述第一连接组件读取的至少部分数据和所述第二连接组件输出的至少部分数据，检验从所述ODS层到所述DW层的数据传输质量。

可选地，所述数据包括所述ODS层新增的一个或多个文件；

所述第一连接组件被配置流式数据接口和多个读操作任务，其中：

所述流式数据接口，用于获取所述一个或多个文件；

各个读操作任务，用于根据所述流式数据接口的分配，从所述ODS层中读取相应的文件。

可选地，所述流式数据接口，还用于：获取上游节点提供的最新分区的分区增量索引；及根据所述分区增量索引，在所述ODS层中的最新分区下获取所述一个或多个文件。

可选地，所述各个读操作任务，还用于向所述流式数据接口发送文件读取状态；

所述流式数据接口，根据所述各个读操作任务返回的文件读取状态，调整所述分配。

可选地，所述第二连接组件被配置多个流写入操作任务和流写入协调组件，其中：

各个流写入操作任务，用于：对所述DW层进行数据写入操作，并向所述流写入协调组件汇报写入进度；

所述流写入协调组件，用于：根据各个流写入操作任务汇报的写入进度，确定当前分区的分区数据是否已经写入完毕；若写入完毕，则触发所述数据校验组件。

可选地，所述DW层提供有HUDI表；

所述第二连接组件，还用于：将所述数据或所述已处理数据写入到所述HUDI表中。

可选地，所述写入的方式为Append且不合并。

可选地，若将所述数据写入到所述DW层；

所述数据校验组件，用于：对比所述第一连接组件读取的至少部分数据和所述第二连接组件输出的至少部分数据是否一致；及根据比对结果确定所述数据传输质量。