[发明专利]ES数据迁移系统及迁移方法

说明书

本发明公开了ES数据迁移系统及迁移方法，涉及数据迁移领域，系统包括数据导出模块、数据储存模块、数据导入模块、迁移导出配置模块和迁移导入配置模块；方法包括数据导出模块导出待迁移ES集群的数据并生成迁移文件，数据储存模块储存迁移文件，数据导入模块将迁移文件由储存模块导入到目标ES集群；ES数据迁移系统提供了一个稳定且可靠的方式对ES数据进行迁移，导出或导入的过程可自动进行，无需人工干预，导出后的迁移文件进行存储，可多次导入不同的ES集群；提供了一种根据目标ES集群进行数据修改的功能，可以根据实际的需要，通过迁移导出配置模块修改导出数据的索引名的前缀、修改指定字段的名称或根据一定的规则修改指定字段的值。

技术领域

本发明涉及数据迁移领域，尤其涉及一种ES数据迁移系统及迁移方法。

背景技术

ElasticSearch(下文简称ES)是一种高速可扩展的数据搜索引擎。提供了大量简单易用的RESTful接口，可以处理PB级的结构化或非结构化数据，ES集群可以很方便的进行横向扩展，但是现有市场上没有关于不同ES集群之间进行数据迁移的方法。

发明内容

本发明的目的就在于为了解决上述问题设计了一种ES数据迁移系统及迁移方法。

本发明通过以下技术方案来实现上述目的：

ES数据迁移系统，包括：

数据导出模块；数据导出模块用于导出待迁移ES集群的数据并生成迁移文件；

数据储存模块；数据储存模块用于储存迁移文件；

数据导入模块；数据导入模块用于将数据储存模块的迁移文件导入到目标ES集群。

ES数据迁移方法，包括以下步骤：

数据导出模块导出待迁移的ES集群中的数据并生成迁移文件；

数据储存模块储存迁移文件；

数据导入模块将迁移文件由储存模块导入到目标ES集群。

本发明的有益效果在于：ES数据迁移系统提供了一个稳定且可靠的方式对ES数据进行迁移，导出或导入的过程可自动进行，无需人工干预，导出后的迁移文件进行存储，可多次导入不同的ES集群；提供了一种根据目标ES集群进行数据修改的功能，可以根据实际的需要，通过迁移导出配置模块修改导出数据的索引名的前缀、修改指定字段的名称或根据一定的规则修改指定字段的值。

附图说明

图1是本发明ES数据迁移系统的数据流程图；

图2是本发明ES数据迁移系统中数据导出模块的数据流程图；

图3是本发明ES数据迁移系统中数据导入模块的数据流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。