[发明专利]针对数据仓库的数据处理方法、介质、装置和计算设备

说明书

本发明的实施方式提供了一种针对数据仓库的数据处理方法，包括：获取指定指标；确定数据仓库中针对指定指标的应用层表格；基于应用层表格的依赖关系，确定数据传输任务的执行规则；以及，基于上述执行规则，执行上述数据传输任务，以将应用层表格中的数据传输至数据存储系统。其中，数据存储系统用于向客户端提供数据。本发明的实施方式还提供了一种针对数据仓库的数据处理装置、介质和计算设备。

技术领域

本发明的实施方式涉及计算机技术领域，更具体地，本发明的实施方式涉及针对数据仓库的数据处理方法、介质、装置和计算设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

相关数据传输技术中，可以实现不同数据源之间的数据相互传导，能够快速的将源数据库中的数仓表(例如Hive表)导出到应用层数据库(例如目前常用的关系型数据库)，但是具体应用开发者并不能直接使用上述导出的数据，还必须在获取并掌握了上述数据仓库表模型设计基础上构建出相匹配的接口或服务才能正常使用上述导出的数据。因此，相关技术中缺乏数据从导出到应用的完整自动化执行链路，数据传输效率较低；且在数据从导出到应用的中间环节对应用开发者的背景知识要求较高，不具有普适性，影响到了数据应用的灵活度及广泛度。

发明内容

在本上下文中，本发明的实施方式期望提供一种针对数据仓库的数据处理方法和装置。

在本发明实施方式的第一方面中，提供了一种针对数据仓库的数据处理方法，包括：获取指定指标；确定数据仓库中针对指定指标的应用层表格；基于应用层表格的依赖关系，确定数据传输任务的执行规则；以及，基于上述执行规则，执行上述数据传输任务，以将应用层表格中的数据传输至数据存储系统。其中，数据存储系统用于向客户端提供数据。

在本发明的一个实施例中，指定指标包括：分析维度和原子指标。上述确定数据仓库中针对指定指标的应用层表格包括：确定数据仓库中包含第一字段和第二字段的应用层表格。其中，第一字段用于表示分析维度，第二字段用于表示原子指标，第一字段的取值类型与分析维度的取值类型相同，第二字段的取值类型与原子指标的取值类型相同。上述将应用层表格中的数据传输至数据存储系统包括：将应用层表格中第一字段的取值和第二字段的取值传输至数据存储系统。

在本发明的另一实施例中，上述基于应用层表格的依赖关系，确定数据传输任务的执行规则包括：基于应用层表格的依赖关系，确定产生应用层表格的源任务；以及，确定数据传输任务的执行规则包括由该源任务的执行成功事件触发执行上述数据传输任务。

在本发明的又一实施例中，上述基于所述执行规则，执行所述数据传输任务包括：监测所述源任务所在任务流的执行情况；以及，响应于所述源任务执行成功的事件，执行所述数据传输任务。

在本发明的再一实施例中，上述方法还包括：获取所述数据仓库中的多个任务各自的执行语句；基于所述多个任务各自的执行语句，确定所述数据仓库中多个表格各自的源任务、所述多个表格之间的上下游关系、以及所述多个任务之间的调度关系，以作为所述多个表格的依赖关系；以及，将所述多个表格的依赖关系存储于图数据库。其中，所述应用层表格的依赖关系从所述图数据库获取得到。

在本发明的再一实施例中，上述方法还包括：在将应用层表格中的数据传输至数据存储系统之前，确定所述数据存储系统中是否存在预置表格；如果否，则在所述数据存储系统中创建目标表格，使得所述目标表格包含所述第一字段和所述第二字段；以及，如果是，则确定所述预置表格是否包含所述第一字段和所述第二字段；是则将所述预置表格作为目标表格；否则对所述预置表格进行修改，以使所述预置表格包含所述第一字段和所述第二字段，并将修改后的所述预置表格作为目标表格。上述将应用层表格中第一字段的取值和第二字段的取值传输至数据存储系统包括：将应用层表格中第一字段的取值作为目标表格中第一字段的取值，并将应用层表格中第二字段的取值作为目标表格中第二字段的取值。