[发明专利]数据中心分析域数据同步优化提升方法在审
申请号: | 201810006386.5 | 申请日: | 2018-01-04 |
公开(公告)号: | CN108197268A | 公开(公告)日: | 2018-06-22 |
发明(设计)人: | 付婷;蔡宇翔;苏运东;潘丹;王雪晶;朱碧钦;张航;黄文思;李金湖;林海玉 | 申请(专利权)人: | 国网福建省电力有限公司;国家电网公司;国网福建省电力有限公司信息通信分公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 福州元创专利商标代理有限公司 35100 | 代理人: | 蔡学俊;丘鸿超 |
地址: | 350003 福*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及一种数据中心分析域数据同步优化提升方法。经分析相关业务系统数据特性,对历史数据的同步进行设计,通过OGG的逻辑更新、逻辑删除操作,迅速对需要更新、删除的历史数据进行定位,对MPP数据进行相应的操作,极大的提升了历史数据同步效率,降低了任务执行时间,满足了对大表数据同步的配置要求,同时通过对数据进质量规则的配置,有效提升了全业务统一数据中心分析域数据质量,为后续基于分析域建设的分析类应用的数据使用奠定了坚实基础。 | ||
搜索关键词: | 历史数据 数据中心 域数据 分析 同步优化 坚实基础 逻辑更新 逻辑删除 配置要求 任务执行 数据使用 数据特性 数据同步 同步效率 业务系统 质量规则 全业务 大表 删除 更新 配置 应用 统一 建设 | ||
【主权项】:
1.一种数据中心分析域数据同步优化提升方法,其特征在于:包括如下步骤,(1)对OGG进行配置,数据表分别增加操作标记、序列、操作时间字段,对源业务系统的增量数据进行正常增量同步,并填上对应的操作标志;(2)OGG对源系统删除数据与更新数据操作分别进行解析,做逻辑删除与逻辑更新操作,并分别填上对应的操作标志;(3)数据经过逻辑删除或逻辑更新操作同步到缓冲区后,通过数据抽取工具同步到MPP数据库;针对同步过来的数据利用数据同步工具配置过滤组件、数据更新组件进行操作;(4)从缓冲区到MPP数据仓库用数据抽取工具进行数据同步。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国网福建省电力有限公司;国家电网公司;国网福建省电力有限公司信息通信分公司,未经国网福建省电力有限公司;国家电网公司;国网福建省电力有限公司信息通信分公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201810006386.5/,转载请声明来源钻瓜专利网。