[发明专利]数据血缘关系提取方法、装置及电子设备

权利要求书

1.一种数据血缘关系提取方法，其特征在于，包括：

通过多个方式由数据仓库中提取源数据，所述源数据为表格形式；

将所述源数据进行解析生成多个初始表，初始表中存储作业名称、标识、SQL语句、创建时间；

对所述多个初始表进行数据清洗处理，生成多个中间表；

基于血缘提取函数对所述多个中间表进行血缘提取处理，生成输入表和输出表和其对应的链路关系。

2.如权利要求1所述的方法，其特征在于，通过多个方式由数据仓库中提取源数据，包括：

由报表开发系统中提取所述源数据；

由业务流监控系统中提取所述源数据；

基于服务器定时命令提取所述源数据；

基于日志收集指令提取所述源数据。

3.如权利要求2所述的方法，其特征在于，基于服务器定时命令提取所述源数据，包括：

基于服务器的crontab命令提取所述源数据。

4.如权利要求2所述的方法，其特征在于，基于日志收集指令提取所述源数据，包括：

基于YARN资源管理器中的日志收集指令提取所述源数据。

5.如权利要求1所述的方法，其特征在于，将所述源数据进行解析生成多个初始表，包括：

提取所述源数据中的SQL语言和表格形式的数据并写入所述多个初始表中。

6.如权利要求1所述的方法，其特征在于，对所述多个初始表进行数据清洗处理，生成多个中间表，包括：

对所述多个初始表进行关键字提取处理以生成所述多个中间表；和/或

对所述多个初始表进行注释清除处理以生成所述多个中间表；和/或

对所述多个初始表进行补充查询名处理以生成所述多个中间表。

7.如权利要求6所述的方法，其特征在于，对所述多个初始表进行补充查询名处理以生成所述多个中间表，包括：

根据第一关键词确定所述多个初始表中的子查询的左括号；

根据第二关键词确定所述多个初始表中的子查询的右括号；

根据所述右括号后的数据确定所述子查询是否需要补充；

在需要进行补充时，对所述子查询名称进行补充。

8.如权利要求7所述的方法，其特征在于，还包括：

采用递归的方式对所述多个初始表中所有的子查询进行补充查询名处理。

9.如权利要求1所述的方法，其特征在于，基于血缘提取函数对所述多个中间表进行血缘提取处理，生成输入表和输出表和其对应的链路关系。，包括：

基于LineageInfo方法对所述多个中间表进行血缘提取处理以生成输入表和输出表和其对应的链路关系。

10.如权利要求1所述的方法，其特征在于，还包括：

基于所述输入表、所述输出表、所述链路关系确定所述数据仓库的使用情况；和/或

基于所述输入表、所述输出表、所述链路关系确定所述数据仓库中多个业务仓库的使用情况；和/或

基于所述输入表、所述输出表、所述链路关系确定所述数据仓库的数据热点表；和/或

基于所述输入表、所述输出表、所述链路关系确定所述数据仓库的操作热点表。

11.一种数据血缘关系提取装置，其特征在于，包括：

数据模块，用于通过多个方式由数据仓库中提取源数据，所述源数据为表格形式；

初始表模块，用于将所述源数据进行解析生成多个初始表，初始表中存储作业名称、标识、SQL语句、创建时间；

中间表模块，用于对所述多个初始表进行数据清洗处理，生成多个中间表；

提取模块，用于基于血缘提取函数对所述多个中间表进行血缘提取处理，生成输入表和输出表和其对应的链路关系。