[发明专利]数据中心分析域数据同步优化提升方法在审
申请号: | 201810006386.5 | 申请日: | 2018-01-04 |
公开(公告)号: | CN108197268A | 公开(公告)日: | 2018-06-22 |
发明(设计)人: | 付婷;蔡宇翔;苏运东;潘丹;王雪晶;朱碧钦;张航;黄文思;李金湖;林海玉 | 申请(专利权)人: | 国网福建省电力有限公司;国家电网公司;国网福建省电力有限公司信息通信分公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 福州元创专利商标代理有限公司 35100 | 代理人: | 蔡学俊;丘鸿超 |
地址: | 350003 福*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 历史数据 数据中心 域数据 分析 同步优化 坚实基础 逻辑更新 逻辑删除 配置要求 任务执行 数据使用 数据特性 数据同步 同步效率 业务系统 质量规则 全业务 大表 删除 更新 配置 应用 统一 建设 | ||
本发明涉及一种数据中心分析域数据同步优化提升方法。经分析相关业务系统数据特性,对历史数据的同步进行设计,通过OGG的逻辑更新、逻辑删除操作,迅速对需要更新、删除的历史数据进行定位,对MPP数据进行相应的操作,极大的提升了历史数据同步效率,降低了任务执行时间,满足了对大表数据同步的配置要求,同时通过对数据进质量规则的配置,有效提升了全业务统一数据中心分析域数据质量,为后续基于分析域建设的分析类应用的数据使用奠定了坚实基础。
技术领域
本发明属于全业务统一数据中心分析域,实现对数据的逻辑更新和删除操作的快速定位记录,提升了历史数据同步效率,具体涉及一种数据中心分析域数据同步优化提升方法。
背景技术
根据国网全业务数据统一数据中心分析域的建设要求,国网福建电力公司已逐步开展24套业务系统的接入工作。在数据接入及后续流转过程中,需要应用OGG和ETL工具进行数据的同步,发现对历史数据的更新及删除操作无法进行同步,且更新操作效率比较低等问题。
删除操作无法同步:利用OGG进行数据同步,可实现数据的增删改操作,使数据同步的两端实现数据镜像;但是,由于两端数据镜像,即源端删除,目标端也删除;后续的数据流转若采用ETL方式同步,则无法获取源端删除操作,导致两端数据不一致。
更新操作无法同步:按照国网分析域数据架构,数据缓冲区仅保留增量数据。当业务系统对历史数据进行更新操作时,分析域数据缓冲区已将历史数据删除,无法获取更新操作,后续的数据流转同样无法对历史数据进行更新。
经过福建公司实际配置和探索研究,优化了相关方法,实现了对数据的逻辑更新和删除操作的快速定位记录,数据同步效率提升36%,降低了任务执行时间。
发明内容
本发明的目的在于提供一种数据中心分析域数据同步优化提升方法,实现对数据的逻辑更新和删除操作的快速定位记录,提升了历史数据同步效率。
为实现上述目的,本发明的技术方案是:一种数据中心分析域数据同步优化提升方法,包括如下步骤,
(1)对OGG进行配置,数据表分别增加操作标记、序列、操作时间字段,对源业务系统的增量数据进行正常增量同步,并填上对应的操作标志;
(2)OGG对源系统删除数据与更新数据操作分别进行解析,做逻辑删除与逻辑更新操作,并分别填上对应的操作标志;
(3)数据经过逻辑删除或逻辑更新操作同步到缓冲区后,通过数据抽取工具同步到MPP数据库;针对同步过来的数据利用数据同步工具配置过滤组件、数据更新组件进行操作;
(4)从缓冲区到MPP数据仓库用数据抽取工具进行数据同步。
相较于现有技术,本发明具有以下有益效果:本发明实现了对数据的逻辑更新和删除操作的快速定位记录,数据同步效率提升36%,降低了任务执行时间,让大表的历史数据同步成为了可能,同时极大地提高了全业务统一数据中心的数据质量,具有对全业务数据中心分析域的数据接入工作具有一定的推广价值,为全业务数据中心后续系统的后续奠定了一定的基础。
附图说明
图1为OGG配置流程。
图2为OGG配置代码。
图3为缓冲区到MPP数据仓库区连线。
图4为数据抽取工具进行数据同步流程。
图5为UPDTRANS组件。
图6为FILTRANS组件。
具体实施方式
下面结合附图,对本发明的技术方案进行具体说明。
本发明的一种数据中心分析域数据同步优化提升方法,包括如下步骤,
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国网福建省电力有限公司;国家电网公司;国网福建省电力有限公司信息通信分公司,未经国网福建省电力有限公司;国家电网公司;国网福建省电力有限公司信息通信分公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810006386.5/2.html,转载请声明来源钻瓜专利网。