[发明专利]基于局部更新软件的数据处理方法及装置在审
申请号: | 201610297050.X | 申请日: | 2016-05-03 |
公开(公告)号: | CN105956123A | 公开(公告)日: | 2016-09-21 |
发明(设计)人: | 李银苗 | 申请(专利权)人: | 无锡雅座在线科技发展有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京康信知识产权代理有限责任公司 11240 | 代理人: | 韩建伟;张永明 |
地址: | 江苏省无锡市无锡新区震泽路1*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种基于局部更新软件的数据处理方法及装置。其中,该方法包括:从消息队列中读取关系型数据库的增量数据;获取查询数据库中的各个数据文件的索引和增量数据的主键;从各个数据文件的索引中,查找与主键匹配的目标索引;在查找到目标索引的情况下,在确定目标索引所对应的目标数据文件之后,利用增量数据更新目标数据文件,得到增量数据文件,其中,数据文件包括目标数据文件。本发明解决了impala对级别较大的数据量无法进行新增、修改或者删除的局部更新的技术问题。 | ||
搜索关键词: | 基于 局部 更新 软件 数据处理 方法 装置 | ||
【主权项】:
一种基于局部更新软件的数据处理方法,其特征在于,包括:从消息队列中读取关系型数据库的增量数据;获取查询数据库中的各个数据文件的索引和所述增量数据的主键;从所述各个数据文件的索引中,查找与所述主键匹配的目标索引;在查找到所述目标索引的情况下,在确定所述目标索引所对应的目标数据文件之后,利用所述增量数据更新所述目标数据文件,得到增量数据文件,其中,所述数据文件包括所述目标数据文件。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于无锡雅座在线科技发展有限公司,未经无锡雅座在线科技发展有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201610297050.X/,转载请声明来源钻瓜专利网。