[发明专利]一种获得数据旁路的方法、装置及电子设备

说明书

本发明公开了一种获得数据旁路的方法、装置及电子设备，其中，所述方法可以生成目标数据链路所包含的多个任务节点对应的调度文件和任务文件的软链接，并通过调用软链接自动获取该软连接所指向的文件，自动分析软链接所指向的文件的代码，得到需要创建旁路表的多个数据表标识；自动生成对应的旁路表标识，并自动复制多个数据表得到使用旁路表标识的旁路表，以及自动复制软链接所指向的文件得到旁路文件；最后自动将旁路文件中的数据表标识替换为对应的旁路表标识，获得目标数据链路的数据旁路。

技术领域

本申请涉及计算机技术领域，尤其涉及一种获得数据旁路的方法、装置及电子设备。

背景技术

数据仓库，是一种面向主题的、集成的、相对稳定的、反映历史变化的数据集合，也可以看作是一种为了便于多维分析和多角度展现而将数据按特定的模式进行存储所建立起来的一种关系型数据库。数据旁路，是为了不影响现有数据链路(数据计算流程)的正常工作，对现有数据链路进行复制得到的副本。通过修改数据旁路中的部分逻辑或部分数据表，可以测试修改对整个数据链路及其计算结果的影响。数据旁路是数据仓库常用的一种分析方法。

目前，主要通过手动复制数据链路中的每一个任务节点对应的文件和数据表来创建数据旁路。然而，在如今的大规模数据的背景下，数据仓库中存储的数据也非常的庞大复杂，这使得数据链路不再是单个任务节点或几个任务节点的串联，而是包含数百个任务节点的复杂数据计算流程。很显然，此时如果仍然手动创建数据旁路，效率会非常的低下。

发明内容

本申请实施例提供了一种获得数据旁路的方法、装置及电子设备，以提高创建数据旁路的效率。

为解决上述技术问题，本申请实施例是这样实现的：

第一方面，提出了一种获得数据旁路的方法，所述方法包括：

针对多个任务节点对应的调度文件和多个任务文件分别生成软链接，得到多个软链接，其中，所述多个任务节点是待创建数据旁路的目标数据链路所包含的任务节点；

调用所述多个软链接，以读取所述多个软链接所指向的多个文件；

分析所述多个文件的代码，获取所述多个任务节点对应的多个数据表标识，并根据所述多个数据表标识，对应生成多个旁路表标识；

对所述多个数据表标识对应的多个数据表进行复制得到多个旁路表，并用所述多个旁路表标识对应标识所述多个旁路表；

对所述多个文件进行复制，得到多个旁路文件；

将所述多个旁路文件中的数据表标识替换为对应的旁路表标识，得到所述目标数据链路的数据旁路。

第二方面，提出了一种获得数据旁路的装置，所述装置包括：

软链接生成模块，用于针对多个任务节点对应的调度文件和多个任务文件分别生成软链接，得到多个软链接，其中，所述多个任务节点是待创建数据旁路的目标数据链路所包含的任务节点；

软链接调用模块，用于调用所述多个软链接，以读取所述多个软链接所指向的多个文件；

标识生成模块，用于分析所述多个文件的代码，获取所述多个任务节点对应的多个数据表标识，并根据所述多个数据表标识，对应生成多个旁路表标识；

旁路表获得模块，用于对所述多个数据表标识对应的多个数据表进行复制得到多个旁路表，并用所述多个旁路表标识对应标识所述多个旁路表；

旁路文件获得模块，用于对所述多个文件进行复制，得到多个旁路文件；

表替换模块，用于将所述多个旁路文件中的数据表标识替换为对应的旁路表标识，得到所述目标数据链路的数据旁路。

第三方面，提出了一种电子设备，包括：

处理器；以及