[发明专利]数据流向确定方法及装置

说明书

本公开涉及一种数据流向确定方法及装置。该方法包括：将数据表和对应的来源表的关联关系记录在关系表中，将不存在来源表的数据表作为初始数据表；将初始数据表的标识作为初始数据表的第一数据流向字符串记录在关系表中；从关系表中确定第N个数据表对应的来源表的标识；从关系表中获取与第N个数据表对应的来源表的标识相同的数据表的第二数据流向字符串；将第N个数据表的标识添加在第二数据流向字符串中最后一个标识之后，得到第N个数据表的数据流向字符串，由此能够通过关系表中每个数据表的数据流向字符串确定数据流向，简化确定数据流向的过程，提高确定数据流向的效率，缩短确定数据流向的时间，从而提高用户的使用体验。

技术领域

本公开涉及大数据技术领域，尤其涉及一种数据流向确定方法及装置。

背景技术

相关技术中，ETL(Extract-Transform-Load，抽取-转换-加载)是指将业务系统中的数据经过抽取、清洗转换之后加载到数据仓库的过程。ETL处理的目的是将业务系统中分散、零乱、标准不统一的数据整合到一起，为业务系统的决策提供分析依据。

ETL处理包括以下阶段：数据的抽取、数据的清洗转换和数据的加载。其中，数据的抽取是指从各个不同的数据源抽取到ODS(Operational Data Store，操作型数据存储)中。在数据的抽取过程中，将数据从数据库中的一张数据表抽取到另外一张数据表中，或者从一张数据表抽取到多张数据表中的操作相对频繁。通过数据表之间的数据流向，能够建立数据表之间的流向关系。通过数据表之间的流向关系，能够展示数据表之间的数据流向。

例如，如果将表1中的数据抽取到表2中，则根据表1和表2之间的数据流向，形成表1指向表2的数据流向关系。如果将表2中的数据抽取到表3和表4中，则根据表2和表3、表4之间的数据流向，形成表2分别指向表3、表4的数据流向关系。在实际应用中，通过分析数据表之间的流向关系，能够清楚地知道数据表之间的数据流向，从而实现及时定位和追溯根源。

图1a示出相关技术中的数据流向图。如果将表1中的数据抽取到表2中，将表2中的数据抽取到表3和表4中，将表3中的数据抽取到表5中，将表4中的数据抽取到表6中。如图1a所示，根据表1、表2、表3、表4、表5和表6之间的数据流向，形成表1指向表2，表2分别指向表3、表4，表3指向表5，表4指向表6的数据流向关系。

发明内容

有鉴于此，本公开提出了一种数据流向确定方法及装置，以解决相关技术中确定数据流向的过程繁琐、效率较低且耗时较长的问题。

根据本公开的一方面，提供了一种数据流向确定方法，所述方法包括：

将数据表和对应的来源表的关联关系记录在关系表中，将不存在来源表的数据表作为初始数据表；

将所述初始数据表的标识作为所述初始数据表的第一数据流向字符串记录在所述关系表中；

从所述关系表中确定第N个数据表对应的来源表的标识；其中，N为大于或等于1的整数，在N等于1时，第1个表为所述初始数据表；

从所述关系表中获取与所述第N个数据表对应的来源表的标识相同的数据表的第二数据流向字符串；

将所述第N个数据表的标识添加在所述第二数据流向字符串中最后一个标识之后，得到所述第N个数据表的数据流向字符串。

根据本公开的另一方面，提供了一种数据流向确定装置，所述装置包括：

第一记录模块，用于将数据表和对应的来源表的关联关系记录在关系表中，将不存在来源表的数据表作为初始数据表；

第二记录模块，用于将所述初始数据表的标识作为所述初始数据表的第一数据流向字符串记录在所述关系表中；