[发明专利]数据仓库内表格的血缘关系追溯的方法和装置

权利要求书

1.一种数据仓库内表格的血缘关系追溯的方法，其特征在于，所述方法包括：

读取各表格的生成方式；

根据所述各表格的生成方式，利用其对应的解析工具解析表格内容；

若使用Hive SQL生成的表格，通过Hive Hook在Hive查询过程中进行拦截，读取HiveSQL执行计划，并将读取的表格及写入的表格记录至MySQL表格中；

若使用Spark SQL生成的表格，则在执行Spark SQL的脚本中提前进行解析，使用Hive的explain功能获取执行计划，并将读取的表格及写入的表格记录至所述MySQL表格中；

利用脚本语言读取表格内容后进行运算与去重，确定各表格上下游血缘关系；

利用脚本语言读取表格内容，每日使用Python脚本定时40天内读取写入表格的记录，再进行运算，去重，得到各表格之间的上下游血缘关系；

在界面查询时输入需要查询的表名，JS脚本会从Python脚本生成的文件中得到该表格的完整上下游血缘关系；JS脚本会额外访问各表格元数据信息，从而排除被删除的临时表，最终确定各表格上下游血缘关系。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

利用渲染工具，绘制所述各表格上下游血缘关系。

3.根据权利要求1所述的方法，其特征在于，所述读取各表格的生成方式包括：

读取使用数据仓库工具生成的数据库表格、读取使用大规模数据处理计算引擎生成的数据库表格。

4.根据权利要求3所述的方法，其特征在于，所述利用脚本语言读取表格内容，确定各表格上下游血缘关系包括：

删除根据数据仓库工具生成的数据库表格内的临时表，确定各表格上下游血缘关系。

5.一种数据仓库内表格的血缘关系追溯的装置，其特征在于，所述装置包括：

读取表格生成方式模块，用于读取各表格的生成方式；

解析表格内容模块，用于根据所述各表格的生成方式，利用其对应的解析工具解析表格内容；

若使用Hive SQL生成的表格，通过Hive Hook在Hive查询过程中进行拦截，读取HiveSQL执行计划，并将读取的表格及写入的表格记录至MySQL表格中；

若使用Spark SQL生成的表格，则在执行Spark SQL的脚本中提前进行解析，使用Hive的explain功能获取执行计划，并将读取的表格及写入的表格记录至所述MySQL表格中；

血缘关系追溯模块，用于利用脚本语言读取表格内容后进行运算与去重，确定各表格上下游血缘关系；

利用脚本语言读取表格内容，每日使用Python脚本定时40天内读取写入表格的记录，再进行运算，去重，得到各表格之间的上下游血缘关系；

在界面查询时输入需要查询的表名，JS脚本会从Python脚本生成的文件中得到该表格的完整上下游血缘关系；JS脚本会额外访问各表格元数据信息，从而排除被删除的临时表，最终确定各表格上下游血缘关系。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

绘制模块，用于利用渲染工具，绘制所述各表格上下游血缘关系。

7.根据权利要求5所述的装置，其特征在于，所述读取表格生成方式模块包括：

读取使用数据仓库工具生成的数据库表格、读取使用大规模数据处理计算引擎生成的数据库表格。

8.根据权利要求7所述的装置，其特征在于，所述血缘关系追溯模块包括：

删除临时表单元，用于删除根据数据仓库工具生成的数据库表格内的临时表，确定各表格上下游血缘关系。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述数据仓库内表格的血缘关系追溯的方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述数据仓库内表格的血缘关系追溯的方法的步骤。