[发明专利]一种使用HIVE备份表进行大数据处理的方法及系统在审
| 申请号： | 201711449147.9 | 申请日： | 2017-12-27 |
| 公开（公告）号： | CN110019477A | 公开（公告）日： | 2019-07-16 |
| 发明（设计）人： | 陈益梦;范钢;潘竞旭;田宜喜;谢宇;张玉魁;陈荣兴 | 申请（专利权）人： | 航天信息股份有限公司 |
| 主分类号： | G06F16/25 | 分类号： | G06F16/25;G06F16/28 |
| 代理公司： | 北京工信联合知识产权代理有限公司 11266 | 代理人： | 郭一斐;叶万东 |
| 地址： | 100195 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种使用HIVE备份表进行大数据处理的方法及系统，所述方法包括抽取增量数据并都HIVE中；对增量数据进行ETL处理；将经过ETL处理得到的处理数据与增量数据通过分区字段将数据存储到文件夹名称包括分区字段的文件夹中进行分区备份，并且利用分区字段信息来更新备份表；再下一个抽取周期进行下一轮的增量数据抽取；用户根据分区字段提取所需的数据；所述系统包括数据抽取模块、ETL处理模块、分区备份模块以及数据提取模块，所述数据抽取模块用于从原始数据库中抽取增量数据；所述ETL处理模块用于对增量数据进行ETL处理；所述分区备份模块用于对数据通过分区字段进行分区并存储到备份表中；所述数据提取模块用于根据分区字段提取相应的数据。 | ||
| 搜索关键词： | 分区 增量数据 备份表 分区备份 字段 数据抽取模块 数据提取模块 抽取 文件夹 字段提取 数据处理 增量数据抽取 原始数据库 处理数据 数据存储 数据通过 字段信息 存储 更新 | ||
【主权项】：
1.一种使用HIVE备份表进行大数据处理的方法，所述方法包括：步骤1，从基于原始数据库中存储的日志文件中抽取增量数据，并且将所述增量数据导入至HIVE中；步骤2，对所述增量数据进行ETL处理；步骤3，将经过ETL处理得到的处理数据与增量数据进行分区备份，所述分区备份是通过分区字段将数据存储到文件夹名称包括分区字段的文件夹中进行备份，并且利用分区字段信息来更新备份表；步骤4，从原始数据库中抽取下一轮的增量数据至HIVE中，所述抽取的下一轮的增量数据覆盖HIVE中原有的增量数据，并重复步骤2及步骤3。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于航天信息股份有限公司，未经航天信息股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201711449147.9/，转载请声明来源钻瓜专利网。
- 上一篇：一种基于模式识别的安检系统
- 下一篇：数据导入方法、介质、设备及装置
