[发明专利]数据血缘分析方法、装置、设备及计算机可读存储介质

说明书

本发明涉及大数据技术领域，公开了一种数据血缘分析方法、装置、设备及计算机可读存储介质，用于满足生产实践中对不同类型数据库的数据血缘分析需求。该方法包括：获取当前在大数据平台上执行的结构化查询语言SQL语句的输入表、输出表，以及输入表和输出表之间的血缘关系；将输入表和输出表分别转化为预设类型系统下的实体对象，将实体对象存储至预设的图形数据库中；根据血缘关系，在图形数据库中构建实体对象之间的血缘关系图谱；接收数据接入平台发送的业务源表与大数据表之间的映射关系；根据映射关系，在血缘关系图谱中确定待添加祖先节点的目标实体对象节点；为目标实体对象节点添加对应的祖先节点，得到目标血缘关系图谱。

技术领域

本发明涉及知识关系分析技术领域，尤其涉及数据血缘分析方法、装置、设备及计算机可读存储介质。

背景技术

随着互联网技术的飞速发展，每天都会产生海量的业务数据，面对日益增长的海量数据，对数据的治理愈发成为各大公司的重要关注点，尤其在大数据走进各大公司日常经营分析决策系统的当下，当某些数据发生变化的时候，如何准确回溯数据的源头以及如何进行数据影响分析，成为了一个重要课题。

血缘分析是数据治理领域一种较为普遍的手段，血缘分析通过对数据处理过程的全面追踪，找到某个数据对象为起点的所有相关元数据对象以及这些元数据对象之间的关系，能够实现数据融合处理的可追溯。关于数据血缘治理，目前市面上有基于关系型数据库的，或者基于大数据平台的数据血缘分析工具，这些分析工具仅能够对单一类型数据库中的数据进行血缘分析，无法满足生产实践中对不同类型数据库的数据血缘分析需求。

发明内容

本发明的主要目的在于提出一种数据血缘分析方法、装置、设备及计算机可读存储介质，旨在满足生产实践中对不同类型数据库的数据血缘分析需求。

本发明第一方面提供了一种数据血缘分析方法，所述数据血缘分析方法包括如下步骤：

获取当前在大数据平台上执行的结构化查询语言SQL语句的输入表、输出表，以及所述输入表和所述输出表之间的血缘关系；

将所述输入表和所述输出表分别转化为预设类型系统下的实体对象，将所述实体对象存储至预设的图形数据库中；

根据所述血缘关系，在所述图形数据库中构建所述实体对象之间的血缘关系图谱；

接收数据接入平台发送的业务源表与大数据表之间的映射关系，其中，所述数据接入平台用于从关系型业务数据库的业务源表抽取业务数据转存至大数据平台的大数据表，并在抽取业务数据的过程中，记录所述业务源表与所述大数据表之间的映射关系；

根据所述映射关系，在所述血缘关系图谱中确定待添加祖先节点的目标实体对象节点；

为所述目标实体对象节点添加对应的祖先节点，得到目标血缘关系图谱，其中，所述祖先节点用于表示由所述目标实体对象的业务源表转化得到的实体对象。

可选的，在本发明第一方面的第一种实现方式中，所述获取当前在大数据平台上执行的结构化查询语言SQL语句的输入表、输出表，以及所述输入表和所述输出表之间的血缘关系的步骤包括：

通过预设的钩子程序，监听当前在大数据平台上执行的结构化查询语言SQL语句；

通过预设的语法解析器和词法解析器，对监听到的所述SQL语句进行解析，得到所述SQL语句的输入表、输出表，以及所述输入表和所述输出表之间的血缘关系。

可选的，在本发明第一方面的第二种实现方式中，所述根据所述血缘关系，在所述图形数据库中构建所述实体对象之间的血缘关系图谱的步骤包括：

调用预设的图处理引擎，通过所述图处理引擎在所述图形数据库中创建与所述输入表和所述输出表一一对应的实体对象节点；