[发明专利]一种基于分布式离线数据库的数据增量处理方法及系统有效
| 申请号： | 201710549726.4 | 申请日： | 2017-07-07 |
| 公开（公告）号： | CN107402981B | 公开（公告）日： | 2023-07-18 |
| 发明（设计）人： | 江樱;黄海潮;刘鸿宁;卢文达;陈振;杨春晨;褚大可;王仲锋;何欣;刘秀 | 申请（专利权）人： | 国网浙江省电力公司信息通信分公司;国网浙江省电力公司 |
| 主分类号： | G06F16/27 | 分类号： | G06F16/27;G06F16/23 |
| 代理公司： | 杭州华鼎知识产权代理事务所(普通合伙) 33217 | 代理人： | 项军 |
| 地址： | 310007*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明旨在提供种基于分布式离线数据库的数据增量处理方法及系统，以解决现有技术方案中因主键值变更，大数据平台在进行数据增量合并后数据出现重复的问题。包括如下步骤：获取增量数据的关键信息并写入增量变化表；获取增量数据记录表中操作状态为变更的增量数据记录作为待处理数据记录；获取待处理数据记录中更新前主键和更新后主键不相等的记录作为待拆分数据记录；将待拆分数据记录拆分为操作状态为删除的数据记录和拆分为操作状态为添加的数据记录；根据增量变化表进行数据增量合并。有益技术效果：防止数据因为主键变更而出现重复。 | ||
| 搜索关键词： | 一种 基于 分布式 离线 数据库 数据 增量 处理 方法 系统 | ||
【主权项】：
一种基于分布式离线数据库的数据增量处理方法，其特征在于，包括如下步骤：获取增量数据的关键信息并写入增量变化表，所述关键信息包括操作时间、操作状态、更新前数据和更新后数据，其中所述更新前数据包括更新前主键，所述更新后数据包括更新后主键；获取增量数据记录表中操作状态为变更的增量数据记录作为待处理数据记录；获取待处理数据记录中更新前主键和更新后主键不相等的记录作为待拆分数据记录；将待拆分数据记录拆分为操作状态为删除的数据记录和拆分为操作状态为添加的数据记录，其中操作状态为删除的数据记录的更新后数据采用对应待拆分数据的更新前数据，操作状态为添加的数据记录的更新后数据采用对应待拆分数据的更新后数据，同时拆分为操作状态为添加的数据记录的操作时间在对应拆分为操作状态为删除的数据记录的操作时间之后；根据增量变化表进行数据增量合并。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于国网浙江省电力公司信息通信分公司;国网浙江省电力公司，未经国网浙江省电力公司信息通信分公司;国网浙江省电力公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710549726.4/，转载请声明来源钻瓜专利网。
