[发明专利]一种数据表的处理方法及装置

权利要求书

1.一种数据表的处理方法，其特征在于，应用于计算机，所述处理方法包括：

根据需要分区的数据表的数据量和所述计算机允许所述数据表使用的最大内存容量，确定所述数据表的预分区数m，m>0；

根据所述数据表的分区键的键值统计信息，确定所述分区键的键值对应的n个区间，所述n个区间中的每个区间对应所述数据表中的至少一个元组，所述分区键的键值统计信息用于表示所述数据表中所述分区键的键值的分布规律，n为正整数，m≤n；

根据所述数据表的预分区数m，确定所述数据表的实际分区数k，其中，k为m向上取整后的值，且k为n的约数；

将所述数据表中n个区间对应的元组写入k个分区，以将所述数据表分为所述k个分区，所述k个分区中每个分区包括n/k个区间对应的元组。

2.根据权利要求1所述的处理方法，其特征在于，所述根据需要分区的数据表的数据量和所述计算机允许所述数据表使用的最大内存容量，确定所述数据表的预分区数m，包括：

根据所述数据表的数据量、所述计算机允许所述数据表使用的最大内存容量和公式，确定所述数据表的预分区数m；

所述公式为：m＝a*b/c，a表示所述数据表的每一列的字节数之和，b表示所述数据表的元组数，a*b表示所述数据表的数据量，c表示所述计算机内存容量的1/t，t＝1或2。

3.根据权利要求1或2所述的处理方法，其特征在于，所述将所述数据表中n个区间对应的元组写入k个分区，包括：

对所述k个分区中的每个分区，执行以下步骤：

根据待写入所述分区的n/k个区间对应的分区键的键值的取值范围，将所述取值范围对应的所有元组写入所述分区。

4.根据权利要求1至3任意一项所述的处理方法，其特征在于，所述将所述数据表中n个区间对应的元组写入k个分区，包括：

在所述计算机的磁盘中创建k个文件，所述k个文件为所述k个分区；

将所述数据表中n个区间对应的元组写入所述k个文件。

5.一种数据表的处理方法，其特征在于，应用于计算机，所述计算机采用如权利要求1至4任意一项所述的处理方法对第一数据表和第二数据表进行分区，所述处理方法包括：

将所述第一数据表分为w个分区，w为正整数；

将所述第二数据表分为x个分区，x为正整数；

获取归并连接指令，所述归并连接指令中包括连接列和连接条件，所述连接列与对所述第一数据表和所述第二数据表进行分区的分区键相同，所述归并连接指令用于按照所述连接列，将所述第一数据表和所述第二数据表中满足连接条件的元组归并为一个数据表；

对所述w个分区和所述x个分区执行所述归并连接指令。

6.根据权利要求5所述的处理方法，其特征在于，所述对所述w个分区和所述x个分区执行所述归并连接指令，包括：

将所述w个分区中第y1个分区的所有元组读入所述计算机的内存，并在所述内存中按照所述连接列对所述第y1个分区的所有元组进行排序，y1为正整数，y1<w；

将所述x个分区中第y2个分区的所有元组读入所述计算机的内存，并在所述内存中按照所述连接列对所述第y2个分区的所有元组进行排序，y2为正整数，y2<x；

对所述第y1个分区的所有元组和所述第y2个分区的所有元组执行所述归并连接指令；

在所述第y1个分区中的第一数值等于所述第y2个分区中的第二数值的情况下，将所述w个分区中第y1+1个分区的所有元组和所述x个分区中第y2+1个分区的所有元组读入所述计算机的内存，所述第一数值为所述第y1个分区中连接列的最大值，所述第二数值为所述第y2个分区中连接列的最大值；

在所述第y1个分区中的第一数值大于所述第y2个分区中的第二数值的情况下，将所述x个分区中第y2+1个分区的所有元组读入所述计算机的内存；

在所述第y1个分区中的第一数值小于所述第y2个分区中的第二数值的情况下，将所述w个分区中第y1+1个分区的所有元组读入所述计算机的内存。