[发明专利]从关系型数据库到HBase数据库的数据流迁移方法

说明书

本发明涉及一种从关系型数据库到HBase数据库的数据流迁移方法，包括如下步骤：设置ETL工具的ExecuteSQL处理器的连接属性，将ExecuteSQL处理器与关系型数据库创建连接服务；通过ConvertAvroToJSON处理器将Avro格式的数据表转换为JSON格式的数据表；通过ConvertJSONToSQL处理器将Json格式的数据表转换为标准关系型数据库格式的数据表；通过ReplaceText处理器将标准关系型数据库格式的数据表转换为HBase数据库格式的数据表；通过PutSQL处理器将HBase数据库格式的数据表存储在HBase数据库中。本发明全程可视化操作、过程可控性强，且数据流迁移的错误率较低。

技术领域

本发明涉及计算机应用技术领域，具体地讲涉及一种从关系型数据库到HBase数据库的数据流迁移方法。

背景技术

目前的应用普遍存在需要处理来自于多个数据库的异构数据问题，现有技术主要解决几种常见的关系型数据库，如Mysql，Oracle，Microsoft SQL Server之间进行数据的迁移，随着非关系型数据库和关系型数据库的出现和发展，越来越多的应用中同时使用了关系型数据库和非关系型数据库，需要解决非关系型数据库和关系型数据库之间数据迁移的难题。

HBase数据库是一种分布式的、面向列的非关系型数据库。越来越多的Web应用需在HBase数据库上重新构建数据，如何将关系型数据库中的数据迁移到HBase数据库成为了亟待解决的问题。

发明内容

根据现有技术中存在的问题，本发明提供了从关系型数据库到HBase数据库的数据流迁移方法，其全程可视化操作、过程可控性强，且数据流迁移的错误率较低。

本发明采用以下技术方案：

从关系型数据库到HBase数据库的数据流迁移方法，包括如下步骤：

S1，设置ETL工具的ExecuteSQL处理器的连接属性，将ExecuteSQL处理器与关系型数据库创建连接服务，ExecuteSQL处理器进而查询并获取到关系型数据库中的Avro格式的数据表；

S2，通过ConvertAvroToJSON处理器将所述Avro格式的数据表转换为JSON格式的数据表；

S3，通过ConvertJSONToSQL处理器将Json格式的数据表转换为标准关系型数据库格式的数据表；

S4，通过ReplaceText处理器将标准关系型数据库格式的数据表转换为HBase数据库格式的数据表；

S5，通过PutSQL处理器将HBase数据库格式的数据表存储在HBase数据库中。

优选的，步骤S1中，ExecuteSQL处理器的连接属性的设置包括对属性DatabaseConnection URL、Database Driver Class Name、Database Driver Location(s)、Database User、Password的值的设置；即将属性Database Connection URL的值设置为关系型数据库URL，将属性Database Driver Class Name的值设置为关系型数据库驱动文件的名称，将属性Database Driver Location(s)的值设置为关系型数据库驱动文件的绝对路径，将属性Database User的值设置为访问关系型数据库的用户名，将属性Password的值设置为访问关系型数据库的用户名对应的密码；所述ExecuteSQL处理器的属性的值设置完成后，执行ExecuteSQL处理器，完成ExecuteSQL处理器对所述Avro格式的数据表的查询和获取。