[发明专利]数据血缘分析方法、装置、设备、系统及可读存储介质

说明书

本发明公开了一种数据血缘分析方法、装置、设备、系统及可读存储介质，该方法包括步骤：当数据系统执行SQL语句时，通过Hook获取与SQL语句对应的血缘数据；通过流式分析系统确定血缘数据所在数据表的数据表类型，根据数据表类型和血缘数据，构建血缘数据对应的有向图；将有向图存储至HBase中，并将血缘数据存储至HDFS中。本发明实现了通过Hook获取不同类型数据系统的血缘数据，使数据血缘分析方法适配不用类型的数据系统，且通过分析血缘数据所在数据表的数据表类型和关联信息，得到血缘关系对应的有向图，避免使用SQL脚本解析来得到数据的血缘关系，降低了分析数据血缘关系的复杂度，提高了数据血缘分析方法的扩展性。

技术领域

本发明涉及数据分析技术领域，尤其涉及一种数据血缘分析方法、装置、设备、系统及可读存储介质。

背景技术

数据血缘分析是元数据管理和数据治理工具的核心功能，通过建立数据之间的血缘关系，可以分析上游数据发生变化是否影响下游关联的数据；如果在元数据上建立技术元数据和业务元数据的关系，通过血缘可以分析不同业务产品之间的数据流动，分析不同产品之间的业务关联；通过分析数据血缘可以更好的理解数据和使用数据。目前石竹的MetaOne已经支持数据血缘分析，MetaOne通过对SQL(Structured Query Language，结构化查询语言)脚本进行解析构建数据的血缘链路，根据通用的SQL语法标准将SQL操作分解成特定的几种操作类型，然后将SQL语句模块分解，从而得到一条SQL的输入数据和输出数据，这样输入数据和输出就建立了直接的血缘关系。

由于MetaOn只能适配通用的SQL语法标准，导致MetaOn不能适配不同类型数据系统之间数据的血缘分析，如开源的数据仓库工具Hive和SQL引擎Spark-SQL的语句有各自的语法特性，因此MetaOn不能分析出Hive和SQL引擎Spark-SQL对应数据的血缘关系；且使用SQL脚本解析来得到数据的血缘关系，需要设计较复杂的解析规则，扩展性不够友好。

发明内容

本发明的主要目的在于提供一种数据血缘分析方法、装置、设备、系统及可读存储介质，旨在解决现有的数据血缘分析方法不能适配不同类型数据系统，且扩展性不友好的技术问题。

为实现上述目的，本发明提供一种数据血缘分析方法，所述数据血缘分析方法包括步骤：

当数据系统执行结构化查询语言SQL语句时，通过钩子Hook获取与所述SQL语句对应的血缘数据并传输至流式分析系统；

通过流式分析系统确定所述血缘数据所在数据表的数据表类型，根据所述数据表类型和所述血缘数据，构建所述血缘数据对应的有向图；

将所述有向图存储至HBase中，并将所述血缘数据存储至分布式文件系统HDFS中。

此外，为实现上述目的，本发明还提供一种数据血缘分析方法，所述数据血缘分析方法应用于数据系统，所述数据血缘分析方法包括以下步骤：

数据系统执行结构化查询语言SQL语句，并通过钩子Hook获取与所述SQL语句对应的血缘数据；

将所述血缘数据发送给流式分析系统，以供所述流式分析系统确定所述血缘数据所在数据表的数据表类型，根据所述数据表类型和所述血缘数据，构建所述血缘数据对应的有向图，将所述有向图存储至HBase中，并将所述血缘数据存储至分布式文件系统HDFS中。

此外，为实现上述目的，本发明还提供一种数据血缘分析方法，所述数据血缘分析方法应用于流式分析系统，所述数据血缘分析方法包括以下步骤：

当流式分析系统接收到数据系统通过钩子Hook发送的与所述结构化查询语言SQL语句对应的血缘数据后，确定所述血缘数据所在数据表的数据表类型，根据所述数据表类型和所述血缘数据，构建所述血缘数据对应的有向图；

将所述有向图存储至HBase中，并将所述血缘数据存储至分布式文件系统HDFS中。