[发明专利]跨异构系统的网络的计算数据沿袭

说明书

生成对应于数据对象的沿袭图。所述数据对象之中的数据对象与存储在数据沿袭服务器(DLS)处的源数据集表相关联。所述源数据集表包括从存储在数据源系统(DSS)处的数据集接收的数据对象的数据。从所述沿袭图确定对应于所述数据集的沿袭图。基于所述沿袭图，提供一个或多个数据沿袭结构。所述一个或多个数据沿袭结构包括来自所述数据集和来自与所述数据集相关的一个或多个数据集的数据，并定义所述数据对象与对应于所述一个或多个数据集的一个或多个数据对象之间的沿袭关系。

技术领域

本领域涉及一种跨异构系统的网络的计算数据沿袭。

背景技术

数据沿袭(lineage)信息描述数据的起源和历史。更具体地，数据沿袭信息描述了数据生命周期阶段，包括数据的创建、转换和处理。数据可以以多种方式表示，范围从文件到分析数据集、关键性能指标(KPI)和仪表板。诸如数据建模、数据管理、数据集成等的数据管理任务依赖于数据沿袭信息。随着组织机构越来越多地采用诸如或等大数据基础架构来存储各种类型的数据集(日志、收据、订阅源等)，数据沿袭信息对大数据项目也很有价值。这些组织机构还利用作为构建软件信息的开发基础架构，其中原始数据集被变换并组合成聚合数据。通过或数据管道(data pipeline)提供的数据可以加载到商业智能(BI)基础架构中。但是，理解、管理和支配(govern)为大数据项目创建的大量数据变得越来越困难。例如，符合政府法规和数据政策对各个行业变得越来越重要。由于缺乏数据控制构成了多个行业数据基础设施的基础水平，因此审计和遵守数据管理法规变得更加复杂。

数据沿袭的两个主要用例是影响和沿袭分析。例如，当开发人员执行维护操作时，需要跨连接系统进行影响分析。更改数据集的组织以满足应用程序的要求或更改描述数据变换的计算规范的定义可能需要了解此类更改可能对相关计算规范和数据集(可能位于所连接的系统)的影响。相反，当访问数据集时，用户可以请求从中生成数据集的原始数据集以及可能跨连接系统应用以生成数据集的连续数据变换链。在这种情况下，需要跨连接的系统的数据集的沿袭分析。因此，构成组织机构的公共数据图景的数据量不断增长，包括企业数据和大数据湖，以及诸如分析师和数据科学家等授权用户访问和准备数据的持续趋势，增加了对跨异构系统连接的网络的沿袭和影响分析的必要性。

发明内容

根据一个或多个示范性实施例，一种计算机实现的方法包括：生成对应于多个数据对象的多个沿袭图，其中，所述多个数据对象的数据对象处的数据包括在存储在数据沿袭服务器(DLS)处的多个源数据集表的源数据集表中，并且其中，所述数据对象表示存储在数据源系统(DSS)处的多个数据集的数据集；从所述多个沿袭图中确定对应于数据集的沿袭图；以及基于沿袭图，提供一个或多个数据沿袭结构，其定义所述数据对象与一个或多个数据对象之间的关系，该一个或多个数据对象对应于与所述数据集相关的一个或多个数据集，其中，所述一个或多个数据沿袭结构包括来自所述数据集和来自所述一个或多个数据集的数据。

附图说明

权利要求具体阐述了实施例。在附图中通过示例的方式示出，而不是限制实施例，其中相同的附图标记表示相似的元件。从以下结合附图的详细描述中可以最好地理解实施例及其优点。

图1是示出根据一个实施例的提供数据对象的数据沿袭信息的系统的框图。

图2是示出根据一个实施例的提供数据对象的数据沿袭信息的过程的流程图。

图3是示出根据一个实施例的从异构系统提取数据沿袭信息的系统的框图。

图4A-图4B是示出根据一个实施例的生成属性沿袭图的过程的流程图。

图5是示出根据一个实施例的数据集级别(level)沿袭模型的统一建模语言(UML)类图。

图6是示出根据一个实施例的属性级别沿袭模型的UML类图。

图7是示出根据一个实施例的数据集级别沿袭图的模型的UML类图。