[发明专利]一种支持在线分析统计的实时查询库设计方法

说明书

一种支持在线分析统计的实时查询库设计方法，包括：步骤1，在源端Oracle业务库中部署数据复制软件进行日志收集；步骤2，使用插件对收集到的日志进行解析，得到增量日志数据；步骤3，对增量日志数据进行离线归档；步骤4，增量日志数据实时写入目标端查询库中；步骤5，历史数据从离线数据库中离线同步到目标端查询库中。将Oracle业务库中的数据通过OGG+datahub+Blink的传输链路同步至查询库，正常通讯延迟在30s到1分钟左右，查询库数据与业务库既能保证实时同步，也具有数据一致性，实现了查询库具有在线分析的能力，解决了查询库只能是同构数据库的限制，为系统后续提供在线数据服务奠定了基础。

技术领域

本发明涉及数据查询技术领域，更具体地，涉及一种支持在线分析统计的实时查询库设计方法。

背景技术

现今大型企业都有多个部门和多种应用系统，很多数据都分布在不同业务部门不同业务库下的，这些应用系统并不是建立在统一平台之上，数据库系统也是相互独立，甚至是异构系统，每个系统之间的数据不能相互连通，构成了信息孤岛，由于电力营销业务的划分更加细致，随着数据规模的不断扩大，传统的关系数据库管理系统RDBMS（RelationalDatabase Management System）难以满足联机分析处理OLAP（Online AnalyticalProcessing）的需求，要让数据发挥辅助决策的作用，具备实时查询和在线统计分析的需求越来越突出，例如电力销售情况简表的需求，涉及复杂统计和实时响应的要求，传统建立数据仓库的解决方案偏向于离线批处理，虽然满足复杂查询的需求，但实时性很大程度上受制于组件和硬件制约，查询开销大。

因此，需要提出一种支持在线分析统计的实时查询库设计方法，满足营销业务系统的在线统计分析，同时具有外提供实时查询服务的能力，形成常态化的数据监测和数据分析体系，提升企业经营和数据服务能力。

发明内容

为解决现有技术中存在的不足，本发明的目的在于，提供一种支持在线分析统计的实时查询库设计方法，将Oracle的数据实时同步到查询库当中，达到低延时、高性能，满足查询库数据与业务库数据一致性要求。

本发明采用如下的技术方案。

一种支持在线分析统计的实时查询库设计方法，包括：

步骤1，在源端Oracle业务库中部署数据复制软件进行日志收集；

步骤2，使用插件对收集到的日志进行解析，得到增量日志数据；

步骤3，对增量日志数据进行离线归档；

步骤4，增量日志数据实时写入目标端查询库中；

步骤5，历史数据从离线数据库中离线同步到目标端查询库中。

优选地，步骤1包括：

步骤1.1，对源端Oracle业务库进行参数设置，使得Oracle业务库处于归档模式；

步骤1.2，在Oracle业务库中，部署基于日志的结构化数据复制软件OGG，并建立OGG用户；

步骤1.3，将OGG划分为源端和目标端，其中，在源端部署Manager进程、Extract进程和Pump进程，在目标端部署Collector进程和Replicat进程；

步骤1.4，利用OGG将源端Oracle业务库的日志同步到目标端，实现日志收集。

进一步，步骤1.1中，当设置复制使能参数Enable_Goldengate_replication为True时，Oracle业务库开启强制写日志，即Oracle业务库开启全列日志；

当设置复制使能参数Enable_Goldengate_replication不为True时，Oracle业务库不开启强制写日志，即Oracle业务库不开启全列日志，则在发生修改或删除操作时，OGG将只会同步更新字段，其他未变更字段除主键外全部为Null。