[发明专利]一种实现数据导入非关系型数据库的方法和系统

权利要求书

1.一种实现数据导入非关系型数据库的方法，其特征在于，包括：

将待导入数据进行格式转换，以生成非关系型数据库存储格式的文件；

根据所述待导入数据的行键，将所述非关系型数据库存储格式的文件分配到已创建的区域中；

存储所述区域的元数据。

2.根据权利要求1所述的方法，其特征在于，在将所述非关系型数据库存储格式的文件分配到已创建的区域中之前，还包括：按照预设的行键散列处理规则对待导入数据的初始行键进行处理，以生成待导入数据的新的行键；

则，根据所述待导入数据的新的行键将所述非关系型数据库存储格式的文件分配到已创建的区域中。

3.根据权利要求2所述的方法，其特征在于，所述按照预设的行键散列处理规则对待导入数据的初始行键进行处理的步骤包括：

对所述待导入数据的初始行键进行MD5运算以生成字符串；

将所述字符串的连续几位作为所述初始行键的前缀，以组合生成所述待导入数据的新的行键。

4.根据权利要求1所述的方法，其特征在于，在将所述非关系型数据库存储格式的文件分配到已创建的区域中之前，还包括：

确定待导入数据的数据量以及一个区域存储的数据量；

根据所述待导入数据的数据量和一个区域存储的数据量确定所需的区域的数量；

创建所述数量的区域。

5.根据权利要求4所述的方法，其特征在于，在创建所述数量的区域之前，还包括：

根据业务需求确定列簇的数量，以及确定区域服务器的内存、memstore占用区域服务器内存的比例、memstore占用区域服务器的内存；

根据以下公式确定每个区域服务器下的区域数：

(区域服务器的内存*memstore占用区域服务器内存的比例)/(memstore占用区域服务器的内存*列簇的数量)

根据所需的区域的数量和每个区域服务器下的区域数确定出所需的区域服务器的个数。

6.根据权利要求1所述的方法，其特征在于，存储所述区域的元数据的步骤包括：

将所述区域的元数据存储到-ROOT-和.META.表中。

7.一种实现数据导入非关系型数据库存的系统，其特征在于，包括：

格式转换模块，用于将待导入数据进行格式转换，以生成非关系型数据库存储格式的文件；

分配模块，用于根据所述待导入数据的行键，将所述非关系型数据库存储格式的文件分配到已创建的区域中；

元数据存储模块，用于存储所述区域的元数据。

8.根据权利要求7所述的系统，其特征在于，还包括：

行键生成模块，用于按照预设的行键散列处理规则对待导入数据的初始行键进行处理，以生成待导入数据的新的行键；并且

所述分配模块根据所述待导入数据的新的行键将所述非关系型数据库存储格式的文件分配到已创建的区域中。

9.根据权利要求8所述的系统，其特征在于，所述行键生成模块还用于：对所述待导入数据的初始行键进行MD5运算以生成字符串；并且，将所述字符串的连续几位作为所述初始行键的前缀，以组合生成所述待导入数据的新的行键。

10.根据权利要求7所述的系统，其特征在于，还包括：

区域创建模块，用于确定待导入数据的数据量以及一个区域存储的数据量；根据所述待导入数据的数据量和一个区域存储的数据量确定所需的区域的数量；创建所述数量的区域。