[发明专利]一种数据迁移方法、装置及电子设备

权利要求书

1.一种数据迁移方法，其特征在于，所述方法包括：

通过分布式内存组件Spark读取Solr系统中已存储的Solr数据；

获取已配置的Solr数据与目标数据库表结构的对应关系；

根据已配置的过滤规则，对所述Solr数据进行过滤处理；

根据所述Solr数据与目标数据库表结构的对应关系，将所述Solr数据加载到所述目标数据库表中；

所述通过分布式内存组件Spark读取Solr系统中已存储的Solr数据的步骤包括：

根据已配置的Solr数据存储路径，通过Spark parallelize读取Solr系统Lucene文件中的Solr数据。

2.根据权利要求1所述的方法，其特征在于，当所述目标数据库为Hbase数据库时，所述根据所述Solr数据与目标数据库表结构的对应关系，将所述Solr数据加载到所述目标数据库表中的步骤包括：

根据所述Solr数据与目标数据库表结构的对应关系，生成HFile文件；

通过Hbase BulkLoad方式加载所述HFile文件到Hbase数据库表中。

3.根据权利要求1所述的方法，其特征在于，所述根据所述Solr数据与目标数据库表结构的对应关系，将所述Solr数据加载到所述目标数据库表中之前，所述方法还包括：

根据已配置的Solr数据的字段信息，将所述Solr数据转化为弹性分布式数据集RDD。

4.根据权利要求1所述的方法，其特征在于，所述通过分布式内存组件Spark读取Solr系统中已存储的Solr数据之前，所述方法还包括：

检测预先配置的配置文件是否正确；

所述通过分布式内存组件Spark读取Solr系统中已存储的Solr数据的步骤包括：

当所述配置文件正确时，通过分布式内存组件Spark读取Solr系统中已存储的Solr数据。

5.根据权利要求4所述的方法，其特征在于，所述检测预先配置的配置文件是否正确的步骤包括：

检测已配置的Solr数据存储路径是否正确；

检测是否存在所述目标数据库表；

检测所述Solr数据与目标数据库表结构的对应关系的格式是否正确；

检测数据转换规则格式是否正确。

6.根据权利要求5所述的方法，其特征在于，所述根据所述Solr数据与目标数据库表结构的对应关系，将所述Solr数据加载到所述目标数据库表中之前，所述方法还包括：

根据已配置的数据转换规则，对所述Solr数据进行对应的处理；其中，所述数据转换规则包括以下至少一项：默认值规则、映射规则。

7.根据权利要求6所述的方法，其特征在于，当所述数据转换规则包括：默认值规则和映射规则时，所述根据已配置的数据转换规则，对所述Solr数据进行对应的处理的步骤可以包括：

针对所述Solr数据中的每个字段，当该字段不存在值时，将该字段设置为默认值；

针对所述Solr数据中的每个字段，根据已配置的映射规则，将该字段映射为对应的目标字段；

所述根据已配置的过滤规则，对所述Solr数据进行过滤处理，包括：

针对所述Solr数据中的每个字段，当该字段满足预设过滤条件时，过滤该字段。

8.根据权利要求7所述的方法，其特征在于，所述预设过滤条件包括：

将字段值为预设值的字段过滤；或

将字段长度满足预设条件的字段过滤。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述将所述Solr数据加载到所述目标数据库表中之后，所述方法还包括：

判断所述Solr数据是否加载成功；如果未成功，返回执行所述通过分布式内存组件Spark读取Solr系统中已存储的Solr数据的步骤。