[发明专利]ES集群数据复用方法、系统、计算机装置及存储介质在审
| 申请号： | 201910069781.2 | 申请日： | 2019-01-24 |
| 公开（公告）号： | CN109902114A | 公开（公告）日： | 2019-06-18 |
| 发明（设计）人： | 石晓龙;黄望;饶鑫 | 申请（专利权）人： | 中国平安人寿保险股份有限公司 |
| 主分类号： | G06F16/25 | 分类号： | G06F16/25;G06F16/27;G06F16/22;G06F16/13;G06F16/182 |
| 代理公司： | 深圳市赛恩倍吉知识产权代理有限公司 44334 | 代理人： | 杨毅玲 |
| 地址： | 518000 广东省深圳市福田区益田路503*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种ES集群数据复用方法、系统、计算机装置及计算机可读存储介质。所述ES集群数据复用方法包括：接收并根据数据选定指令选定待复用的目标数据；获取所述目标数据在所述分布式文件系统的存储地址；创建Hive外部表，并将所述Hive外部表指向所述目标数据在所述分布式文件系统的存储地址；创建Hive与ES集群的数据对应的视图表；接收ES集群的数据交互请求，并利用所述Hive外部表及所述视图表将所述交互数据从所述分布式文件系统同步至所述ES集群。本发明涉及云存储技术，通过建立ES集群与HDFS的数据传输通道，实现ES集群与HDFS之间数据共享，避免数据重复存储。 | ||
| 搜索关键词： | 集群 分布式文件系统 目标数据 数据复用 计算机装置 存储地址 外部 计算机可读存储介质 数据传输通道 存储介质 交互数据 数据对应 数据共享 数据交互 数据选定 数据重复 云存储 复用 创建 存储 指向 指令 | ||
【主权项】：
1.一种ES集群数据复用方法，其特征在于，所述方法包括：接收一数据选定指令，并根据所述数据选定指令在分布式文件系统中选定待复用的目标数据；获取所述目标数据在所述分布式文件系统的存储地址；创建Hive外部表，并将所述Hive外部表指向所述目标数据在所述分布式文件系统的存储地址；创建Hive与ES集群的数据对应的视图表，并在所述视图表中指定所述ES集群的服务节点；接收所述ES集群的数据交互请求，并查询所述数据交互请求涉及的交互数据；及利用所述Hive外部表及所述视图表将所述交互数据从所述分布式文件系统同步至所述ES集群，其中所述交互数据为所述目标数据的部分数据或全部数据。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国平安人寿保险股份有限公司，未经中国平安人寿保险股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910069781.2/，转载请声明来源钻瓜专利网。
