[发明专利]一种支持在线分析统计的实时查询库设计方法

权利要求书

1.一种支持在线分析统计的实时查询库设计方法，其特征在于，

所述方法包括：

步骤1，在源端Oracle业务库中部署数据复制软件进行日志收集；

步骤2，使用插件对收集到的日志进行解析，得到增量日志数据；

步骤3，对增量日志数据进行离线归档；

步骤4，增量日志数据实时写入目标端查询库中；

步骤5，历史数据从离线数据库中离线同步到目标端查询库中。

2.根据权利要求1所述的一种支持在线分析统计的实时查询库设计方法，其特征在于，

步骤1包括：

步骤1.1，对源端Oracle业务库进行参数设置，使得Oracle业务库处于归档模式；

步骤1.2，在Oracle业务库中，部署基于日志的结构化数据复制软件OGG，并建立OGG用户；

步骤1.3，将OGG划分为源端和目标端，其中，在源端部署Manager进程、Extract进程和Pump进程，在目标端部署Collector进程和Replicat进程；

步骤1.4，利用OGG将源端Oracle业务库的日志同步到目标端，实现日志收集。

3.根据权利要求2所述的一种支持在线分析统计的实时查询库设计方法，其特征在于，

步骤1.1中，当设置复制使能参数Enable_Goldengate_replication为True时，Oracle业务库开启强制写日志，即Oracle业务库开启全列日志；

当设置复制使能参数Enable_Goldengate_replication不为True时，Oracle业务库不开启强制写日志，即Oracle业务库不开启全列日志，则在发生修改或删除操作时，OGG将只会同步更新字段，其他未变更字段除主键外全部为Null。

4.根据权利要求2所述的一种支持在线分析统计的实时查询库设计方法，其特征在于，

步骤1.2中，建立OGG用户包括：创建OGG用户表空间、授权OGG用户、创建OGG相关的子目录。

5.根据权利要求2所述的一种支持在线分析统计的实时查询库设计方法，其特征在于，

步骤1.3中，所述Manager进程，负责管理其他进程的启停和监控；

所述Extract进程，负责从源端业务库表或者事务日志中抽取数据；其中，Extract进程采用增量同步配置模式；

所述Pump进程，负责将源端Trail文件的数据投递到目标端；

所述Collector进程，负责接收来自源端的数据，在目标端生成Trail文件。

6.根据权利要求5所述的一种支持在线分析统计的实时查询库设计方法，其特征在于，

步骤1.4包括：

步骤1.4.1，由Extract进程分析源端业务库日志，从源端抽取变动的数据；

步骤1.4.2，将变动的数据记录在源端Trail文件中；

步骤1.4.3，Pump进程将源端Trail文件中的数据投递到目标端；

步骤1.4.4，Collector进程在目标端接收来自源端Trail文件中的数据，生成目标端Trail文件用于存储来自源端Trail文件中的数据；

步骤1.4.5，Replicat进程读取目标端Trail文件后，转化为数据定义语言和数据操作语言后在目标端数据库中使用，实现数据同步；

其中，在目标端数据库中，数据定义语言用在定义或改变表的结构、数据类型、表之间的链接和约束的初始化工作上；数据操作语言用在对数据库中的数据进行操作，包括新增、修改和删除。

7.根据权利要求6所述的一种支持在线分析统计的实时查询库设计方法，其特征在于，

步骤2中，使用云流数据处理平台Datahub对目标端Trail文件进行解析，将得到的增量日志数据实时订阅到Datahub中；

其中，Oracle业务库中的每一张表Table均对应Datahub中一个独立主题Topic。