[发明专利]字段血缘生成方法及系统有效
申请号: | 202110664668.6 | 申请日: | 2021-06-16 |
公开(公告)号: | CN113326401B | 公开(公告)日: | 2023-01-20 |
发明(设计)人: | 董子平;吴剑雄;张靖;毛剑 | 申请(专利权)人: | 上海哔哩哔哩科技有限公司 |
主分类号: | G06F16/901 | 分类号: | G06F16/901 |
代理公司: | 北京英特普罗知识产权代理有限公司 11015 | 代理人: | 邓小玲 |
地址: | 200433 上海市*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 字段 血缘 生成 方法 系统 | ||
1.一种字段血缘生成方法,其特征在于,所述方法包括:
对提交的计算任务进行处理,调用处理后的数据得到指定类型的执行语句;
对所述指定类型的执行语句进行分析处理,得到血缘的目标信息和上下游映射关系;
根据所述目标信息和所述上下游映射关系建立上下游血缘信息;
在所述调用为同步调用的情形下,根据所述上下游血缘信息和业务上的预检查规则对所述计算任务中的所述执行语句进行预检查。
2.根据权利要求1所述的字段血缘生成方法,其特征在于,在所述调用为异步调用的情形下,所述对提交的计算任务进行处理,调用处理后的数据得到指定类型的执行语句包括:
收集所述计算任务的执行计划和执行语句;
在所述计算任务执行完后,将收集的所述计算任务的执行计划和执行语句发送到消息队列中;
对所述消息队列中的消息进行实时消费处理,获取所述指定类型的执行语句。
3.根据权利要求2所述的字段血缘生成方法,其特征在于,所述方法在建立上下游血缘信息后还包括:
将所述上下游血缘信息保存到图数据库中,以有向无环图进行展示。
4.根据权利要求1所述的字段血缘生成方法,其特征在于,在所述调用为同步调用的情形下,所述对提交的计算任务进行处理,调用处理后的数据得到指定类型的执行语句包括:
收集所述计算任务的执行计划和执行语句;
在所述计算任务执行前,同步调用收集到的所述计算任务的执行计划和执行语句,获取所述指定类型的执行语句。
5.根据权利要求1所述的字段血缘生成方法,其特征在于,所述对所述指定类型的执行语句进行分析处理,得到血缘的目标信息和上下游映射关系,包括:
通过对CREATE语句和INSERT语句的分析处理得到血缘的目标信息,包括数据库名、表名、字段名;
通过对SELECT语句的分析处理得到血缘的上下游映射关系。
6.根据权利要求5所述的字段血缘生成方法,其特征在于,所述根据所述目标信息和所述上下游映射关系建立上下游血缘信息包括:
结合所述目标信息对所述上下游映射关系中所有字段的信息进行补齐,得到目的地字段和最上游字段之间的所有血缘关系及信息。
7.一种字段血缘生成系统,其特征在于,所述系统包括:
调用模块,用于对提交的计算任务进行处理,调用处理后的数据得到指定类型的执行语句;
分析模块,用于对所述指定类型的执行语句进行分析处理,得到血缘的目标信息和上下游映射关系;
建立模块,用于根据所述目标信息和所述上下游映射关系建立上下游血缘信息;在所述调用为同步调用的情形下,根据所述上下游血缘信息和业务上的预检查规则对所述计算任务中的所述执行语句进行预检查。
8.一种电子装置,其特征在于,所述电子装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的字段血缘生成程序,所述字段血缘生成程序被所述处理器执行时实现如权利要求1至6中任一项所述的字段血缘生成方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有字段血缘生成程序,所述字段血缘生成程序被处理器执行时实现如权利要求1至6中任一项所述的字段血缘生成方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海哔哩哔哩科技有限公司,未经上海哔哩哔哩科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110664668.6/1.html,转载请声明来源钻瓜专利网。