[发明专利]一种结构化查询语言的血缘解析方法及其工具

权利要求书

1.一种结构化查询语言的血缘解析方法，其特征在于，所述血缘解析方法包括：

提取若干不同类型数据库的业务系统，将所述业务系统的结构化查询语言持续性地批量导入消息队列表中；

对所述消息队列表中包含有静态参数和动态参数的所述结构化查询语言分别预处理，若所述结构化查询语言中仅涉及静态参数则进行标准化格式操作，若所述结构化查询语言中涉及动态参数则进行事先处理；

将预处理后的所述结构化查询语言进行语法校对，使得所述结构化查询语言符合所述不同类型数据库的标准语法支持；

生成匹配所述不同类型数据库的所述结构化查询语言的抽象语法树，对所述抽象语法树进行遍历，获取所述结构化查询语言的血缘关系；

对所述业务系统的所述血缘关系进行信息的提取，获取所述血缘关系的血缘脉络和关键血缘数据并最终形成血缘图谱，将所述血缘图谱存储于图数据库中，通过所述图数据库完成对所述业务系统的分析与预测；

所述业务系统的分析和预测包括：

对所述关键血缘数据中表结构变化或者删除后做出及时告警，具体包括：实时感知用户对表结构作出的修改，对关键点结构的变化作出相应分析，通过已关联的字段和任务、字段和表、表和任务之间的血缘关系，对引用到该表的任务中所配置的告警人员、申请了该表权限的人员或者所在系统管理员做出及时告警；

对所述关键血缘数据中上下游信息进行特殊分析，往上定位具体问题，往下做影响评估，具体包括：当任务运行失败时，根据所述血缘关系对任务的上下游进行特殊分析，往上追述任务并逐个分析问题，直到定位具体问题，往下做影响评估，查看当前任务的失败影响的任务以及造成的损失并给出评估报告；

对所述关键血缘数据的报表中异常数据的追踪，分析并确定所述异常数据的问题所在，定位具体的错误点，具体包括：在生成报表时，若发现报表中存在异常数据，根据报表追述到具体的上游字段和表，再逐一分析之间的关系和运算规则从而确定问题所在，定位具体的错误点；

对所述关键血缘数据中某些数据做清洗脱敏工作时，根据所述血缘关系信息找到整个血缘链路，进而评估脱敏后的风险和制定计划需要的周期，具体包括：需要对数据做清洗脱敏工作时，根据所述血缘关系找到整个链路，进而评估脱敏后的风险和制定计划需要的周期，当发现未脱敏的数据已经被外泄时，依据所述血缘关系找到目前数据流转位置以判断所需要做的处理。

2.根据权利要求1所述的结构化查询语言的血缘解析方法，其特征在于，所述不同类型数据库包括Hive数据仓库和关系型数据库，所述关系型数据库包括主流的MySQL数据库、Oracle数据库、DB2数据库。

3.根据权利要求1所述的结构化查询语言的血缘解析方法，其特征在于，所述标准化格式操作包括：将任一所述结构化查询语言中的空白字符替换为单个空格，以及将结构化查询语言统一为大写字母或者小写字母。

4.根据权利要求1所述的结构化查询语言的血缘解析方法，其特征在于，所述事先处理包括：设置自定义的语法模块实现对所述动态参数的识别和解析，对所述动态参数进行整体替换成真实的静态参数，完成对所述动态参数的模糊处理。

5.根据权利要求1所述的结构化查询语言的血缘解析方法，其特征在于，所述语法校对包括对所述结构化查询语言中特殊字符、保留字的检查。

6.根据权利要求1至5任一所述的结构化查询语言的血缘解析方法，其特征在于，所述抽象语法树的生成是基于antlr和druid的开源语法分析器；对所述抽象语法树的遍历包括：依次获取所述结构化查询语言中库名、表名、字段名以及表和字段描述的元数据信息，将所述元数据信息作为生成表和表、字段和字段、表和表实例、字段和字段实例之间血缘关系的源信息，并获取所述源信息之间的血缘映射关系。

7.根据权利要求6所述的结构化查询语言的血缘解析方法，其特征在于，所述血缘映射关系包括所述表的父表与子表的映射对，所述字段的父字段与子字段的映射对，所述表实例或字段实例的父实例与子实例的映射对。