[发明专利]基于列级数据的数据血缘解析方法及装置

说明书

本发明属于大数据技术领域，本发明提供了一种基于列级数据的数据血缘解析方法及装置，基于列级数据的数据血缘解析方法包括：解析接收的用户数据的Sql语句，以生成词法分析类以及语法分析类；根据所述词法分析类以及语法分析类生成语法树；根据所述语法树生成所述Sql语句的多表之间的映射关系以及多列数据之间的映射关系。本发明可以直观地进行数据回溯及影响分析，从而为数据治理、风险控制等提供支撑；另一方面，本发明依据数据血缘关系，结合数据受众、数据更新量级、数据更新频次等，可给数据价值的评估提供依据，从而提供可解释的数据价值评估。

技术领域

本发明属于大数据技术领域，具体涉及一种基于列级数据的数据血缘解析方法及装置。

背景技术

当前正处于数据信息时代，每时每刻都在产生大量数据。为了发掘海量数据中蕴含的金矿，很多企业引入ETL、数据仓库、数据湖、数据中台等技术(本文统称“数据处理系统”)，对企业的数据进行抽取、管理、加工、利用。企业丰富的源端数据抽取到数据处理系统后，通常会对这些数据进行各种加工组合、转换，产生“新”的数据加以利用。

企业丰富的源端数据抽取到数据处理系统后，通常会对这些数据进行各种加工组合、转换，产生“新”的数据加以利用。任何数据，从产生、加工处理、融合流转，到最终消亡，数据之间自然会形成一种关系，称之为数据的血缘关系。数据血缘，即一个表的生成过程链路(它依赖了哪些表，怎么生成的，经过了哪些过程和阶段)；以及它依赖的表的生成过程链路。

任何数据，从产生、处理加工、融合流转，到最终消亡，数据之间自然会形成一种关系，称之为数据的血缘关系。数据血缘，即一个表的生成过程链路(它依赖了哪些表，怎么生成的，经过了哪些过程和阶段)；以及它依赖的表的生成过程链路。例如：表A、表B的数据经过ETL处理生成了表C数据，则可以说，表A、表B与表C之间存在血缘关系。

在下游业务应用数据的过程中，常常需要对数据成因、来源等进行跟踪回溯；或者分析某个表在系统中的“热度指数”(被引用次数)、“影响指数”(表变动时，哪些下游表会受到影响)等，这都离不开对表与表、列与列之间数据流转关系的探索，即“数据血缘分析”。

在没有工具之前，数据血缘关系只能依靠手工维护，一旦脚本发生变化，手工维护遗漏或不及时的话，就会造成关系不准确。

随着业务的丰富，表的数量成指数级增加，加工逻辑越来越多，逻辑复杂性越来越强，链路越来越长，依靠手工维护、人工分析血缘的方式局限性越来越明显。提供一个便捷、可靠、易用的数据血缘分析系统价值不言而喻。

现有技术中，数据血缘分析各有侧重，有的侧重SQL解析；有的侧重工具特征；有的侧重可视化；有的侧重处理节点类型特点；有的侧重血缘本身的解析而没有考虑完整的周边支持体系；多数数据血缘分析工具只到表级别，均没有提到了列级别数据血缘分析，且未见涵盖列级计算逻辑。

发明内容

本发明属于大数据技术领域，其所提供的基于列级数据的数据血缘解析方法及装置，可以直观地进行数据回溯及影响分析，从而为数据治理、风险控制等提供支撑；另一方面，本发明依据数据血缘关系，结合数据受众、数据更新量级、数据更新频次等，可给数据价值的评估提供依据，从而提供“可解释的数据价值评估”。

为解决上述技术问题，本发明提供以下技术方案：

第一方面，本发明提供一种基于列级数据的数据血缘解析方法，包括：

解析接收的用户数据的Sql语句，以生成词法分析类以及语法分析类；

根据所述词法分析类以及语法分析类生成语法树；

根据所述语法树生成所述Sql语句的多表之间的映射关系以及多列数据之间的映射关系。

一实施例中，所述根据所述词法分析类以及语法分析类生成语法树，包括：