[发明专利]基于sql语义自动解析的数据血统分析系统及方法在审
申请号: | 201710228087.1 | 申请日: | 2017-04-07 |
公开(公告)号: | CN107169023A | 公开(公告)日: | 2017-09-15 |
发明(设计)人: | 陶波;许飞月;陈乐焱 | 申请(专利权)人: | 广东精点数据科技股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 重庆强大凯创专利代理事务所(普通合伙)50217 | 代理人: | 隋金艳,陈家辉 |
地址: | 510630 广东省广*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 sql 语义 自动 解析 数据 血统 分析 系统 方法 | ||
1.基于sql语义自动解析的数据血统分析系统,其特征在于:包括依次连接的sql预处理模块、血统识别模块和血统展现模块;
所述sql预处理模块,建立关键字规则库,从待检测数据所在的数据库中读取待检测的数据模型结构和数据处理的sql脚本,并对数据处理的sql脚本进行分解,形成脚本分析表;
所述血统识别模块对sql预处理模块中读取的数据处理的sql脚本进行关键字识别,并对关键字对应的数据处理的sql脚本进行血统信息提取,并将血统信息存储至脚本分析表中;
所述血统展现模块对脚本分析表中的血统信息进行顺序整合并展现血统连接的过程。
2.根据权利要求1所述的基于sql语义自动解析的数据血统分析系统,其特征在于:
所述sql预处理模块,包括依次连接的关键字规则库建立单元、数据模型及数据处理的sql脚本提取单元以及脚本分解单元;
所述关键字规则库建立单元,建立关键字规则库,收集关键字,确定每个关键字的结构并规范结构中的血统变化流向;
所述数据模型及数据处理的sql脚本提取单元从待检测数据所在的数据库中读取待检测的数据模型结构和数据处理的sql脚本;
所述脚本分解单元对数据模型及数据处理的sql脚本提取单元中的数据处理的sql脚本按照最小的操作单元进行分段,并且按sql执行顺序进行编号,然后对每段sql脚本细化分解并存储至脚本分析表。
3.根据权利要求1所述的基于sql语义自动解析的数据血统分析系统,其特征在于:所述血统识别模块,包括依次连接的关键字发现单元和血统提取单元;
所述关键字发现单元,通过规则库建立单元中建立的关键字规则库,对脚本分解单元中的数据处理的sql脚本进行关键字匹配,并将关键字存储至脚本分析表;
所述血统提取单元根据关键字规则库中的关键字语句结构以及上游和下游的血统规范,对脚本分析表中的脚本信息进行匹配,确定血统变化的流向,并记录于脚本分析表中。
4.根据权利要求1所述的基于sql语义自动解析的数据血统分析系统,其特征在于:所述血统展现模块包括血统展现单元;所述血统展现单元对脚本分析表中的数据按照顺序编号,对血统上游和下游的血统信息进行分类整合,再按照脚本分析表中的顺序编号提取出来,完成了血统的展现。
5.根据权利要求2所述的基于sql语义自动解析的数据血统分析系统,其特征在于:所述数据模型结构,包括表结构、字段定义及规范、在数据库中预定义的主外键约束。
6.基于sql语义自动解析的数据血统分析系统的分析方法,其特征在于:包括以下步骤:
步骤一:在 sql预处理模块中的关键字规则库建立单元中,根据sql脚本体系建立关键字规则库;
步骤二:数据模型及数据处理的sql脚本提取单元从待检测血统的数据所在的数据库中读取数据模型和数据处理的sql脚本;
步骤三:脚本分解单元对步骤二中读取的数据处理的sql脚本进行排序、分解;每段数据分析sql脚本对应一个顺序编号;分解得到子脚本;将顺序编号和子脚本存储到脚本分析表中;
步骤四:关键字发现单元对步骤三中分解出来的子脚本,进行关键字识别,并将识别得到的关键字与关键字规则库中的关键字进行匹配;将匹配的关键字名称存储到脚本分析表中;
步骤五:血统提取单元对已经识别关键字的子脚本,再以关键字规则库中的关键字结构识别结构中的参数对应的数据字段,确定子脚本的上游数据和下游数据,并存储到脚本分析表中;
步骤六:血统展现单元对脚本分析表中的数据按照顺序编号,对血统上游、下游进行分类整合。
7.根据权利要求6所述的基于sql语义自动解析的数据血统分析系统的分析方法,其特征在于:在步骤三中,首先,在数据库中建立脚本分析表的数据模型;然后,以数据处理的sql脚本的执行顺序进行排序;最后,对已经排好序的各段数据处理的sql脚本分别分解到的子脚本为可执行的最小单位。
8.根据权利要求7所述的基于sql语义自动解析的数据血统分析系统的分析方法,其特征在于:从同一段数据处理的sql脚本中拆分出来的子脚本对应的顺序编号相同。
9.根据权利要求6所述的基于sql语义自动解析的数据血统分析系统的分析方法,其特征在于:在步骤六中,对整合后的血统按照顺序编号从小到大的顺序展现。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东精点数据科技股份有限公司,未经广东精点数据科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710228087.1/1.html,转载请声明来源钻瓜专利网。