[发明专利]一种将关系型数据迁移至HBase的方法及系统

权利要求书

1.一种将关系型数据迁移至HBase的方法，其特征在于，包括如下步骤：

步骤1：建立HBase数据库，并建立用于存储关系数据库中数据表与HBase中相应的数据存储表间映射关系的映射关系表；

步骤2：选定一个或一个以上的关系型数据表，并为选定的每个关系型数据表定义映射方式，记录在映射关系表中；

步骤3：导入数据时，查询映射关系表中的映射方式，并根据映射方式建立相应的数据存储表；

步骤4：将步骤2中所述一个或一个以上的关系型数据表中的数据按照步骤3中所述的映射关系迁移至建立的数据存储表中；

步骤5：判断是否还有关系型数据要迁移到HBase数据库中，如果有返回步骤2,否则结束。

2.根据权利要求1所述一种将关系型数据迁移至HBase的方法，其特征在于，还包括当要从HBase数据库中导出数据时，具体实现如下：首先，根据用户提供的导出配置文件获取待导出数据在原关系型数据表中的位置信息；其次，根据待导出数据在原关系型数据表中的位置信息，在映射关系表中查找出待导出数据在HBase数据库的数据存储表中相应的位置信息；最后，按照关系映射表中定义的数据类型将待导出数据导出。

3.根据权利要求1所述一种将关系型数据迁移至HBase的方法，其特征在于，还包括当要从HBase数据库中查询数据时，具体实现如下：首先，解析所述查询语句，提取出查询信息，并转换成HBase数据库的查询语句；其次，根据已转换的查询语句在映射关系表中查找待查询数据在数据存储表中的位置信息；最后，根据查询到的位置信息，查询数据存储表中的相应数据。

4.根据权利要求1所述一种将关系型数据迁移至HBase的方法，其特征在于，步骤2中所述映射方式为包括表映射方式和列映射方式，

所述表映射方式包括一对一映射和多对一映射，具体体现在表名的映射，所述表名的映射为根据表名转换运算进行映射，表名转换运算包括一对一哈希运算和多对一哈希运算；

所述列映射方式包括默认方式、时序方式和用户自定义方式，所述默认方式即关系数据库中表格内所有列与HBase的数据存储表格的一个列簇内的所有列一一对应；所述时序方式即将关系数据库中表格内所有时间值属性列在HBase的数据存储表中单独定义一个列簇，该列簇包含一个列，将迁移的数据按照不同时间点对应于该列不同的时间戳上；所述用户自定义映射即根据用户的需要进行自定义。

5.根据权利要求4所述一种将关系型数据迁移至HBase的方法，其特征在于，步骤3中根据映射方式建立相应的数据存储表，所述数据存储表中包括一个特殊的列即为行键列，所述行键列的映射方式包括单关键字型和多关键字型，所述单关键字型是以原关系数据库中表格的一个列属性直接作为行键，多关键字型是将原关系数据库中表格的多个列属性拼接为一个行键，所选列属性、用于拼接各列属性的连接字符或字符串，以及行键的排列顺序由用户自定义。

6.根据权利要求1所述一种将关系型数据迁移至HBase的方法，其特征在于，步骤4的具体实现包括数据读取和数据写入，其中数据读取包括两种方式，一是通过JDBC从关系数据库中读取数据，二是通过中间文件从关系数据库中读取数据；导入数据时，首先在映射关系表中查找相关的映射关系，将读取的数据转换成二进制串，根据映射关系将其写入到相应的数据存储表中。

7.一种将关系型数据迁移至HBase的系统，其特征在于，包括一个或一个以上的关系数据库、HBase数据库、SQL解析模块、查询转换模块和数据模式管理模块；

所述每个关系数据库，其用于存储关系型数据，作为数据迁移的源端；

所述HBase数据库，其用于建立映射关系表来存储关系数据库中数据表与HBase中相应的数据存储表间的映射关系，并将从关系型数据库中迁移来的数据按照预定的映射关系存储在相应的数据存储表中；

所述SQL解析模块，其用于提供SQL查询功能，对SQL查询语句进行解析，并将解析出的查询信息传送给查询转换模块；

所述查询转换模块，其用于将接收的查询信息转换成HBase数据库的查询语句，并传送给数据模式管理模块；

所述数据模式管理模块，其用于在向HBase导入、导出和查询数据时，调取相应接口，在HBase的映射关系表中查询映射关系，为数据导入、导出和查询提供查询依据。