[发明专利]从关系型数据库到HBase数据库的数据流迁移方法

权利要求书

1.一种从关系型数据库到HBase数据库的数据流迁移方法，其特征在于，包括如下步骤：

S1，设置ETL工具的ExecuteSQL处理器的连接属性，将ExecuteSQL处理器与关系型数据库创建连接服务，ExecuteSQL处理器进而查询并获取到关系型数据库中的Avro格式的数据表；

S2，通过ConvertAvroToJSON处理器将所述Avro格式的数据表转换为JSON格式的数据表；

S3，通过ConvertJSONToSQL处理器将Json格式的数据表转换为标准关系型数据库格式的数据表；

S4，通过ReplaceText处理器将标准关系型数据库格式的数据表转换为HBase数据库格式的数据表；

S5，通过PutSQL处理器将HBase数据库格式的数据表存储在HBase数据库中。

2.根据权利要求1所述的一种从关系型数据库到HBase数据库的数据流迁移方法，其特征在于：步骤S1中，ExecuteSQL处理器的连接属性的设置包括对属性Database ConnectionURL、Database Driver Class Name、Database Driver Location(s)、Database User、Password的值的设置；即将属性Database Connection URL的值设置为关系型数据库URL，将属性Database Driver Class Name的值设置为关系型数据库驱动文件的名称，将属性Database Driver Location(s)的值设置为关系型数据库驱动文件的绝对路径，将属性Database User的值设置为访问关系型数据库的用户名，将属性Password的值设置为访问关系型数据库的用户名对应的密码；所述ExecuteSQL处理器的属性的值设置完成后，执行ExecuteSQL处理器，完成ExecuteSQL处理器对所述Avro格式的数据表的查询和获取。

3.根据权利要求2所述的一种从关系型数据库到HBase数据库的数据流迁移方法，其特征在于：步骤S1中，将ExecuteSQL处理器与关系型数据库创建连接服务，即设置ExecuteSQL处理器的参数SQL select query；当参数SQL select query设置为select*from X时，表示ExecuteSQL处理器对参数SQL select query所对应的数据表X进行查询和获取。

4.根据权利要求3所述的一种从关系型数据库到HBase数据库的数据流迁移方法，其特征在于：步骤S1中，还包括对ExecuteSQL处理器进行任务定时调度的设置，即设置参数Maxwait time的值；当参数Max wait time的值设置为t时，表示ExecuteSQL处理器与关系型数据库成功创建连接后，等待t秒执行ExecuteSQL处理器对关系型数据库中的数据表的查询和获取。

5.根据权利要求1所述的一种从关系型数据库到HBase数据库的数据流迁移方法，其特征在于：步骤S2中，将所述Avro格式的数据表转换为JSON格式的数据表包括对ConvertAvroToJSON处理器的属性JSON container options、Wrap single Record的值的设置；属性JSON container options的值表示JSON格式的数据表的表达方式，设置属性JSON container options的值为array，即表示以数组类型的方式表示JSON格式的数据表；属性Wrap single Record的值表示是否以单个记录方式处理数据流，如果是，则属性Wrapsingle Record的值设置为true，如果否，则属性Wrap single Record的值设置为false，此时采用整体打包的方式处理数据流；所述ConvertAvroToJSON处理器的属性的值设置完成后，执行ConvertAvroToJSON处理器，进而完成Avro格式的数据表转换为JSON格式的数据表。