[发明专利]一种数据迁移方法、装置及电子设备

说明书

本发明实施例提供了一种数据迁移方法、装置及电子设备，所述方法包括：通过分布式内存组件Spark读取Solr系统中已存储的Solr数据；获取已配置的Solr数据与目标数据库表结构的对应关系；根据所述Solr数据与目标数据库表结构的对应关系，将所述Solr数据加载到所述目标数据库表中。本发明实施例中，采用分布式内存组件Spark读取Solr系统中已存储的Solr数据，进而将读取的Solr数据加载到另一数据库中，Solr数据迁移过程中和Solr服务无交互，从而不影响Solr服务的正常使用。

技术领域

本发明涉及计算机技术领域，特别是涉及一种数据迁移方法、装置及电子设备。

背景技术

Solr是一种独立的企业级搜索系统，可通过对数据建立索引提供索引服务，同时可以用作存储数据使用。在Solr系统升级、存储组件更换时，需要将Solr中存储的数据迁移新的存储组件中，如Hbase数据库，由此需要一种用于Solr系统的数据迁移方法。

数据迁移是指将数据由一个存储系统迁移到另一个存储系统的过程。已知的迁移Solr系统中数据的方法为，通过Solr提供的http接口读取出数据，然后将数据存储到另一个存储系统中。然而，这种方法在数据读取过程中使用了Http接口，导致影响了Solr服务的正常使用。

发明内容

本发明实施例的目的在于提供一种数据迁移方法、装置及电子设备，以在迁移Solr系统中的数据时，不影响Solr服务的正常使用。具体技术方案如下：

第一方面，本发明实施例提供了一种数据迁移方法，所述方法包括：

通过分布式内存组件Spark读取Solr系统中已存储的Solr数据；

获取已配置的Solr数据与目标数据库表结构的对应关系；

根据所述Solr数据与目标数据库表结构的对应关系，将所述Solr数据加载到所述目标数据库表中。

可选的，当所述目标数据库为Hbase数据库时，所述根据所述Solr数据与目标数据库表结构的对应关系，将所述Solr数据加载到所述目标数据库表中的步骤包括：

根据所述Solr数据与目标数据库表结构的对应关系，生成HFile文件；

通过Hbase BulkLoad方式加载所述HFile文件到Hbase数据库表中。

可选的，所述根据所述Solr数据与目标数据库表结构的对应关系，将所述Solr数据加载到所述目标数据库表中之前，所述方法还包括：

根据已配置的Solr数据的字段信息，将所述Solr数据转化为弹性分布式数据集RDD。

可选的，所述通过分布式内存组件Spark读取Solr系统中已存储的Solr数据之前，所述方法还包括：

检测预先配置的配置文件是否正确；

所述通过分布式内存组件Spark读取Solr系统中已存储的Solr数据的步骤包括：

当所述配置文件正确时，通过分布式内存组件Spark读取Solr系统中已存储的Solr数据。

可选的，所述检测预先配置的配置文件是否正确的步骤包括：

检测已配置的Solr数据存储路径是否正确；

检测是否存在所述目标数据库表；

检测所述Solr数据与目标数据库表结构的对应关系的格式是否正确；

检测数据转换规则格式是否正确。

可选的，所述通过分布式内存组件Spark读取Solr系统中已存储的Solr数据的步骤包括：