[发明专利]数据中心分析域数据同步优化提升方法在审

专利信息
申请号: 201810006386.5 申请日: 2018-01-04
公开(公告)号: CN108197268A 公开(公告)日: 2018-06-22
发明(设计)人: 付婷;蔡宇翔;苏运东;潘丹;王雪晶;朱碧钦;张航;黄文思;李金湖;林海玉 申请(专利权)人: 国网福建省电力有限公司;国家电网公司;国网福建省电力有限公司信息通信分公司
主分类号: G06F17/30 分类号: G06F17/30
代理公司: 福州元创专利商标代理有限公司 35100 代理人: 蔡学俊;丘鸿超
地址: 350003 福*** 国省代码: 福建;35
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 历史数据 数据中心 域数据 分析 同步优化 坚实基础 逻辑更新 逻辑删除 配置要求 任务执行 数据使用 数据特性 数据同步 同步效率 业务系统 质量规则 全业务 大表 删除 更新 配置 应用 统一 建设
【说明书】:

发明涉及一种数据中心分析域数据同步优化提升方法。经分析相关业务系统数据特性,对历史数据的同步进行设计,通过OGG的逻辑更新、逻辑删除操作,迅速对需要更新、删除的历史数据进行定位,对MPP数据进行相应的操作,极大的提升了历史数据同步效率,降低了任务执行时间,满足了对大表数据同步的配置要求,同时通过对数据进质量规则的配置,有效提升了全业务统一数据中心分析域数据质量,为后续基于分析域建设的分析类应用的数据使用奠定了坚实基础。

技术领域

本发明属于全业务统一数据中心分析域,实现对数据的逻辑更新和删除操作的快速定位记录,提升了历史数据同步效率,具体涉及一种数据中心分析域数据同步优化提升方法。

背景技术

根据国网全业务数据统一数据中心分析域的建设要求,国网福建电力公司已逐步开展24套业务系统的接入工作。在数据接入及后续流转过程中,需要应用OGG和ETL工具进行数据的同步,发现对历史数据的更新及删除操作无法进行同步,且更新操作效率比较低等问题。

删除操作无法同步:利用OGG进行数据同步,可实现数据的增删改操作,使数据同步的两端实现数据镜像;但是,由于两端数据镜像,即源端删除,目标端也删除;后续的数据流转若采用ETL方式同步,则无法获取源端删除操作,导致两端数据不一致。

更新操作无法同步:按照国网分析域数据架构,数据缓冲区仅保留增量数据。当业务系统对历史数据进行更新操作时,分析域数据缓冲区已将历史数据删除,无法获取更新操作,后续的数据流转同样无法对历史数据进行更新。

经过福建公司实际配置和探索研究,优化了相关方法,实现了对数据的逻辑更新和删除操作的快速定位记录,数据同步效率提升36%,降低了任务执行时间。

发明内容

本发明的目的在于提供一种数据中心分析域数据同步优化提升方法,实现对数据的逻辑更新和删除操作的快速定位记录,提升了历史数据同步效率。

为实现上述目的,本发明的技术方案是:一种数据中心分析域数据同步优化提升方法,包括如下步骤,

(1)对OGG进行配置,数据表分别增加操作标记、序列、操作时间字段,对源业务系统的增量数据进行正常增量同步,并填上对应的操作标志;

(2)OGG对源系统删除数据与更新数据操作分别进行解析,做逻辑删除与逻辑更新操作,并分别填上对应的操作标志;

(3)数据经过逻辑删除或逻辑更新操作同步到缓冲区后,通过数据抽取工具同步到MPP数据库;针对同步过来的数据利用数据同步工具配置过滤组件、数据更新组件进行操作;

(4)从缓冲区到MPP数据仓库用数据抽取工具进行数据同步。

相较于现有技术,本发明具有以下有益效果:本发明实现了对数据的逻辑更新和删除操作的快速定位记录,数据同步效率提升36%,降低了任务执行时间,让大表的历史数据同步成为了可能,同时极大地提高了全业务统一数据中心的数据质量,具有对全业务数据中心分析域的数据接入工作具有一定的推广价值,为全业务数据中心后续系统的后续奠定了一定的基础。

附图说明

图1为OGG配置流程。

图2为OGG配置代码。

图3为缓冲区到MPP数据仓库区连线。

图4为数据抽取工具进行数据同步流程。

图5为UPDTRANS组件。

图6为FILTRANS组件。

具体实施方式

下面结合附图,对本发明的技术方案进行具体说明。

本发明的一种数据中心分析域数据同步优化提升方法,包括如下步骤,

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国网福建省电力有限公司;国家电网公司;国网福建省电力有限公司信息通信分公司,未经国网福建省电力有限公司;国家电网公司;国网福建省电力有限公司信息通信分公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201810006386.5/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top