[发明专利]数据血缘关系处理方法及装置

说明书

本发明公开了一种数据血缘关系处理方法及装置。其中，该方法包括：获取由消息队列输出的目标数据，其中，目标数据为待进行血缘分析的数据；对目标数据进行血缘分析，得到目标数据的血缘信息；将血缘信息同步至目标数据所在数据资产中。本发明解决了相关技术中由于数据来源和目标数据源的差异较大，血缘信息采集无法获取统一而完整的数据的技术问题。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据血缘关系处理方法及装置。

背景技术

目前，企业对大数据的需求逐渐加深，数据仓库规模越来越大，数据血缘和业务模型血缘的建设显得尤为重要，开发人员需要知道数据的影响范围，数仓管理人员需要知道数据及业务关系。

其中，数据血缘描述了数据在生产、传输、使用、存储、共享和销毁的生命周期中数据之间的关联关系和数据的流向，并且其在数据应用和治理中可以用于数据的溯源分析、影响分析和重要程度等分析

然而目前数据血缘方案，由于数据来源和目标数据源的差异巨大，难以做到数据输送方式的统一，血缘信息采集无法获取统一而完整的数据。

针对上述弊端，现行的方案通常是在大数据平台内针对各组件进行监控记录，并将信息写入数据库。但大数据平台不可能只处理大数据组件间的数据，还会涉及关系型数据库、接口传输数据、文档数据(ftp类)等等，这些数据也需要。

此外，普通数据血缘的构建，功能只局限在一个大数据平台上的HiveSQL、Impala、Sqoop等大数据组件，且只支持同一集群内的数据处理行为，但实际的大数据数仓的构建以及业务中，涉及的数据来源广泛，数据交换方式也是多种多样。而目前的血缘的采集并不能满足上述要求。

针对上述相关技术中由于数据来源和目标数据源的差异较大，血缘信息采集无法获取统一而完整的数据的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据血缘关系处理方法及装置，以至少解决相关技术中由于数据来源和目标数据源的差异较大，血缘信息采集无法获取统一而完整的数据的技术问题。

根据本发明实施例的一个方面，提供了一种数据血缘关系处理方法，包括：获取由消息队列输出的目标数据，其中，所述目标数据为待进行血缘分析的数据；对所述目标数据进行血缘分析，得到所述目标数据的血缘信息；将所述血缘信息同步至所述目标数据所在数据资产中。

可选地，在获取由消息队列输出的目标数据之前，该数据血缘关系处理方法还包括：在数据处理端产生所述目标数据时，所述目标数据被传输至所述消息队列中，以利用所述消息队列缓存所述目标数据；在所述消息队列输出所述目标数据时，接收所述消息队列输出的所述目标数据。

可选地，所述目标数据被所述数据处理端通过预定应用接口传输至所述消息队列中。

可选地，对所述目标数据进行血缘分析，得到所述目标数据的血缘信息，包括：获取所述目标数据中的数据血缘；对所述数据血缘进行分析，得到多种指标数据；基于所述多种指标数据得到所述目标数据的血缘信息。

可选地，在对所述目标数据进行血缘分析，得到所述目标数据的血缘信息之后，该数据血缘关系处理方法还包括：将所述血缘信息写入图数据库中。

可选地，在将所述血缘信息同步至所述目标数据所在数据资产中之后，该数据血缘关系处理方法还包括：利用所述血缘信息对数据仓库进行更新；以及，利用所述血缘信息对原始血缘信息进行优化，得到优化后的血缘信息。

可选地，在将所述血缘信息同步至所述目标数据所在数据资产中之后，该数据血缘关系处理方法还包括：将所述优化后的血缘信息反馈至数据处理端，以触发所述数据处理端利用所述优化后的血缘信息对所述数据资产所在业务系统进行更新。