[发明专利]一种基于OLTP-OLAP混合关系型数据库系统内部的数据实时同步方法

说明书

本发明提供一种基于OLTP‑OLAP混合关系型数据库系统内部的数据实时同步方法，包括以下步骤：混合数据库系统通过标准JDBC/ODBC访问接口访问该系统；请求先经过SQL解析层，先后通过data dict cache进行初步的语句合法性检查和语言含义合法性检查，如没通过直接返回相应错误；一旦通过合法性检查和权限检查，进入到SQL分类识别层：属于select查询分析类还是modify类；数据库返回结果会等待业务数据库和分析数据库两条SQL都执行后的结果通知进行汇总，本发明基于SQL解析层后一步的相关子集进行数据分割处理，支持原系统标注的JDBC/ODBC协议，对外数据库使用者没有任何感知，完全自动化处理SQL逻辑，统一返回结果。

技术领域

本发明涉及数据库SQL解析层查询数据子集的双向写时同步算法技术领域，具体为一种基于OLTP-OLAP混合关系型数据库系统内部的数据实时同步方法。

背景技术

在传统的业务系统开发中，类似Oracle、mysql之类的业务数据库已经成为开发团队必备软件，而近几年兴起的大数据开发又产生了新的一批面向于大数据分析的OLAP分析数据库，与OLTP面向业务的数据库不同，OLAP数据库更偏向于大数据的分析和查询，可以通过MPP分布式任务框架将大型的查询分析类SQL快速的分配到集群内所有worker节点运行，再快速汇总达到十倍甚至百倍与OLTP业务库的效率，而OLAP数据库一般采用列式存储格式和不同的数据压缩算法已达到大数据存储容量减少的目的，这就相对于数据的并发操作和modify类SQL(update、delete、drop等)性能上支持不是特别好。而传统的业务数据库对于查询的性能又非常低。

随着业务数据库量越来越大，更多的查询需求逐渐增多的需求场景，目前有很多业务系统通过OLTP+OLAP方式部署两套数据库，对于大数据库海量数据需要进行大数据分析查询时，通过传统ETL工具进行快速的从OLTP业务库抽取到OLAP分析型数据库，继而进行离线分析。虽然实现了业务和分析隔离，但分析周期过长，流程复杂，容错管理难度高。

还有一种就是融合OLTP和OLAP的新型数据库系统，这种号称NewSQL类的数据库在市场上也逐渐体现几个，主要通过Google F1 spanner分布式框架结合底层Facebook的rocksdb快速kv存储结合的一种分布式数据库系统，这种数据库系统只是在业务数据库上实现了分布式业务，扩展了业务数据库的扩展限制，并没有在OLAP方向上有过多创新，甚至还不能支持全部的OLAP业务。

发明内容

本发明所解决的技术问题在于提供一种基于OLTP-OLAP混合关系型数据库系统内部的数据实时同步方法，以解决上述背景技术中的问题。

本发明所解决的技术问题采用以下技术方案来实现：一种基于OLTP-OLAP混合关系型数据库系统内部的数据实时同步方法，包括以下步骤：

步骤(1)：混合数据库系统通过标准JDBC/ODBC访问接口访问该系统

步骤(2)：请求先经过SQL解析层，先后通过data dict cache进行初步的语句合法性检查和语言含义合法性检查，如没通过直接返回相应错误；一旦通过合法性检查和权限检查，进入到SQL分类识别层：属于select查询分析类还是modify类；modify类包括insert类SQL、update类SQL、delete类SQL；

步骤(3)：如果是Select查询分析类SQL，该SQL通过解析层后会直接转发至系统中OLAP分析库模块的执行层，直接根据OLAP数据库进行MPP分布式查询，等查询结果汇总后直接回传；

步骤(4)：如果检测到是insert类SQL，SQl层会先对原QL进行修饰话字段的去处、简化；然后针对影响的结果临时子集进行内存级别copy，生成两个SQL，原SQL会发往OLTP业务数据库，而简化SQL会发往OLAP分析数据库；