[发明专利]数据追溯方法、装置、数据处理设备及计算机存储介质

说明书

本发明提供了一种数据追溯方法、装置、数据处理设备及计算机存储介质，通过获取待追溯的目标数据处理流程，再获取目标数据处理流程中各数据转换算法节点的输入及输出数据的字段列表，并获取输入及输出字段列表中各字段的映射关系，从而根据字段列表以及各数据转换算法节点输入及输出字段列表中各字段的映射关系，生成目标数据处理流程的数据迁移关系图，最后调用数据迁移关系图对待追溯数据进行追溯。这样，通过数据转换算法节点来得到数据被转换数据转换前后的各字段映射关系，并进一步得到可表征数据字段间迁移关系的数据迁移关系图，这就使得在进行数据追溯时，可以追溯到数据字段级的数据来源于加工方式，极大地提高了数据追溯的精细度。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据追溯方法、装置、数据处理设备及计算机存储介质。

背景技术

近些年来，随着数据处理技术的不断发展，尤其是大数据处理技术的不断发展，越来越多的信息被数据化。在面对海量数据时，识别数据来源变得十分困难，数据来源的追溯已经成为数据管理的一个巨大挑战。

当前，在数据的处理过程中，各大厂商往往采用定制化的处理系统来对特定类别的数据进行处理。通过多个输入数据集和定制化的处理系统的数据处理，即可得到输出数据集。因此，根据现有的处理流程，我们可以很容易的获知数据输出的数据集对应的输入数据集的关系，即我们能够知道输出数据集(如数据表、数据文件)来自哪些输入数据集(如数据表、数据文件)。但是，由于在定制化的处理系统中对各输入数据集的数据处理关系不明确，我们若想进一步获得数据集中字段间的对应关系则非常困难。而随着数据处理技术的不断发展，对于数据追溯的精细度要求也越来越高。因此，提供一种更精细的数据追溯方法就十分有必要了。

发明内容

本发明实施例提供的一种数据追溯方法、装置、数据处理设备及计算机存储介质，主要解决的技术问题是：根据现有方法仅能进行数据集上的数据追溯，无法进行字段间的数据追溯的问题。

为解决上述技术问题，本发明实施例提供了一种数据追溯方法，包括：

获取待追溯的目标数据处理流程，所述目标数据处理流程由目标输入数据集、目标输出数据集、以及数据转换节点集构成，所述数据转换节点集用于将输入所述目标输入数据集中的数据进行处理后输出到所述目标输出数据集中，所述数据转换节点集中包含至少一个数据转换算法节点或一个以上级联的数据转换算法节点，所述数据转换算法节点包含被转换数据转换前后的各字段映射关系；

获取各所述数据转换算法节点输入及输出数据的字段列表之字段内容，并根据各所述数据转换算法节点的被转换数据转换前后的各字段映射关系，得到输入及输出字段列表中各字段内容的映射关系；

根据各所述数据转换算法节点输入及输出字段列表中各字段内容的映射关系，生成所述目标数据处理流程的数据迁移关系图；

根据数据追溯指令调用所述数据迁移关系图进行数据追溯。

本发明实施例还提供一种数据追溯系统，包括：

数据迁移关系图生成模块，用于获取待追溯的目标数据处理流程，所述目标数据处理流程由目标输入数据集、目标输出数据集、以及数据转换节点集构成，所述数据转换节点集用于将输入所述目标输入数据集中的数据进行处理后输出到所述目标输出数据集中，所述数据转换节点集中包含至少一个数据转换算法节点或一个以上级联的数据转换算法节点，所述数据转换算法节点包含被转换数据转换前后的各字段映射关系；并用于获取各所述数据转换算法节点输入及输出数据的字段列表之字段内容，并根据各所述数据转换算法节点的被转换数据转换前后的各字段映射关系，得到输入及输出字段列表中各字段内容的映射关系；以及用于根据各所述数据转换算法节点输入及输出字段列表中各字段内容的映射关系，生成所述目标数据处理流程的数据迁移关系图；

数据追溯模块，用于根据数据追溯指令调用所述数据迁移关系图对进行数据追溯。