[发明专利]ES集群数据复用方法、系统、计算机装置及存储介质

权利要求书

1.一种ES集群数据复用方法，其特征在于，所述方法包括：

接收一数据选定指令，并根据所述数据选定指令在分布式文件系统中选定待复用的目标数据；

获取所述目标数据在所述分布式文件系统的存储地址；

创建Hive外部表，并将所述Hive外部表指向所述目标数据在所述分布式文件系统的存储地址；

创建Hive与ES集群的数据对应的视图表，并在所述视图表中指定所述ES集群的服务节点；

接收所述ES集群的数据交互请求，并查询所述数据交互请求涉及的交互数据；及

利用所述Hive外部表及所述视图表将所述交互数据从所述分布式文件系统同步至所述ES集群，其中所述交互数据为所述目标数据的部分数据或全部数据。

2.如权利要求1所述的ES集群数据复用方法，其特征在于，所述获取所述目标数据在所述分布式文件系统的存储地址的步骤之前还包括：

对所述目标数据进行预处理，以使得所述目标数据符合预设规则。

3.如权利要求2所述的ES集群数据复用方法，其特征在于，所述对所述目标数据进行预处理的步骤包括：

对所述目标数据进行逐行读取，并判断每行数据是否符合所述预设规则；

当判断出具有不符合所述预设规则的行数据时，输出数据编辑提示信息；及

接收对所述不符合预设规则的行数据的编辑处理，重复判断步骤，直到所述每行数据符合所述预设规则。

4.如权利要求1-3任意一项所述的ES集群数据复用方法，其特征在于，所述获取所述目标数据在所述分布式文件系统的存储地址的步骤包括：

获取用于存储所述目标数据的数据块的索引信息；及

根据所述索引信息获取所述目标数据在所述分布式文件系统的存储地址。

5.如权利要求1所述的ES集群数据复用方法，其特征在于，所述将所述Hive外部表指向所述目标数据在所述分布式文件系统的存储地址的步骤包括：

获取所述目标数据中包含的分隔符，并将所述目标数据中的分隔符作为所述Hive外部表中字段的分隔符；

将所述目标数据的一行数据对应至所述Hive外部表的一条记录；及

将所述Hive外部表的地址指向所述目标数据在所述分布式文件系统的存储地址。

6.如权利要求1-3任意一项所述的ES集群数据复用方法，其特征在于，所述在所述视图表中指定所述ES集群的服务节点的步骤包括：

在所述视图表中指定所述ES集群的服务节点的地址、端口名称、索引信息及文档信息。

7.如权利要求1-3任意一项所述的ES集群数据复用方法，其特征在于，所述查询所述数据交互请求涉及的交互数据的步骤包括：

将查询所述数据交互请求涉及的交互数据的进程转换为MapReduce任务；及

在所述分布式文件系统中执行所述MapReduce任务，以查询得到所述数据交互请求涉及的交互数据。

8.一种ES集群数据复用系统，其特征在于，所述系统包括：

选定模块，用于接收一数据选定指令，并根据所述数据选定指令在分布式文件系统中选定待复用的目标数据；

获取模块，用于获取所述目标数据在所述分布式文件系统的存储地址；

第一创建模块，用于创建Hive外部表，并将所述Hive外部表指向所述目标数据在所述分布式文件系统的存储地址；

第二创建模块，用于创建Hive与ES集群的数据对应的视图表，并在所述视图表中指定所述ES集群的服务节点；

查询模块，用于接收所述ES集群的数据交互请求，并查询所述数据交互请求涉及的交互数据；及

同步模块，利用所述Hive外部表及所述视图表将所述交互数据从所述分布式文件系统同步至所述ES集群，其中所述交互数据为所述目标数据的部分数据或全部数据。