[发明专利]一种基于元数据链路的数据追踪方法及系统

说明书

本发明公开了一种基于元数据链路的数据追踪方法，包括：收集数据传输日志；根据数据传输日志生成字段级元数据链路；根据上传的查询条件，追踪到与查询条件匹配的字段级元数据链路；对字段级元数据链路进行可视化处理以生成图形界面。本发明还公开了一种基于元数据链路的数据追踪系统，包括收集模块，用于收集数据传输日志；生成模块，用于生成字段级元数据链路；追踪模块，用于根据上传的查询条件追踪与查询条件相匹配的字段级元数据链路；可视化模块，用于对字段级元数据链路进行可视化处理以生成图形界面。采用本发明，通过字段级元数据链路，能够快速追踪到具体的数据。

技术领域

本发明涉及数据追踪领域，尤其涉及一种基于元数据链路的数据追踪方法及系统。

背景技术

在信息化领域，每一个行业或领域都要依赖于信息化系统去帮助解决问题、提高效率。随着计算机软件行业的逐渐兴起，每个领域中的软件也越来越多。如果拿人做比喻，软件相当于人的器官，每一个都有其相应的价值；而数据相当于人的血液，器官更好的互通，需要血液在其中做流转。而数据治理就是解决血液不通的问题。在数据治理相关行业内，关于数据链路的研究很多，通常有通过数据的血缘分析去做数据的关系做可视化呈现。针对数据的血缘分析类的也就研究也很多。

例如：搜狐网上公开了一篇《数据之间有血缘关系-数据治理不得不懂的血缘关系梳理方法》，其公开了一种数据血缘关系的可视化展示系统，在该系统中，包括信息节点、数据流转线路、清洗规则节点、转换规则节点和数据归档销毁规则节点，能够清晰的展示出数据血缘关系。还有，数据治理中的数据血缘关系可视化图形系统(专利名称：数据治理中的数据血缘关系可视化图形系统；申请专利号：CN201711383801.0)，提供了一种数据治理中的数据血缘关系可视化图形系统通过不同层级的血缘关系，可以很清楚的了解数据的迁徙流转，为数据价值的评估、数据的管理提供了依据。设定了详细的规则，以方便对数据进行更好的梳理。

无论是网上的公开的文章，还是数据治理中的数据血缘关系可视化图形系统的专利，其实都在从更深、更全面的技术方式去描述，数据的血缘关系。网上公开的《数据之间有血缘关系-数据治理不得不懂的血缘关系梳理方法》，该发明一方面缺少对于各种规则的设定，使得清洗、转换和销毁的判断容易出现问题，另外一方面缺少对数据的抽取方法和加载策略的描述，容易使数据血缘关系的可视化图形产生偏差。数据治理中的数据血缘关系可视化图形系统专利，虽然能从数据抽取方法、数据加载策略、数据清洗、数据转换、数据销毁等方面对数据进行全生命周期的流程梳理，但是其也是对数据的血缘关系的呈现，并没有突出对数据链路的定位、追踪、数据影响的分析。

发明内容

本发明所要解决的技术问题在于，提供一种基于元数据链路的数据追踪方法及系统，通过元数据链路能够对数据全链路进行追踪、定位以及数据影响分析。

为了解决上述技术问题，本发明提供了一种基于元数据链路的数据追踪方法，包括：

收集数据传输日志；

根据数据传输日志生成字段级元数据链路；

根据上传的查询条件，追踪到与查询条件匹配的字段级元数据链路；

对字段级元数据链路进行可视化处理以生成图形界面。

优选地，在所述根据上传的查询条件，追踪到与查询条件匹配的字段级元数据链路的步骤之后，还包括：

获取整个数据链路中每个流转节点的数据值；

比较每个流转节点的数据值，定位出有问题的流转节点。

优选地，在所述比较每个流转节点的数据值，定位出有问题的流转节点步骤之后，还包括：

通过数据链路追踪，来判断该流转节点造成的影响范围。

优选地，在所述通过数据链路追踪，来判断该流转节点造成的影响范围的步骤之后，还包括：