[发明专利]一种数据合并的方法和装置

权利要求书

1.一种数据合并的方法，包括：

获取每个存储表的平均数据长度，并以所述平均数据长度对各个存储表进行分类；所述平均数据长度为存储表中存储的各用户数据的平均数据长度；

将同一分类的存储表对应的合并任务提交至负责所述分类的工作队列中；

由所述工作队列的工作线程执行所述合并任务。

2.如权利要求1所述的方法，其特征在于，还包括：

创建至少两个工作队列，所述工作队列的个数至少等于所述分类个数。

3.如权利要求2所述的方法，其特征在于，所述创建至少两个工作队列包括：

在系统启动时加载配置文件，通过所述配置文件设置并创建至少两个工作队列；所述配置文件中包括平均数据长度的分类与工作队列的对应关系。

4.如权利要求1所述的方法，其特征在于，还包括：

针对系统中的每个存储表，获取所述存储表的内存表数据转储至磁盘后的平均数据长度，并将所述平均数据长度存入所述存储表在系统内存的数据结构中。

5.如权利要求4所述的方法，其特征在于，针对系统中的每个存储表，获取所述存储表的内存表数据转储至磁盘后的平均数据长度，并将所述平均数据长度存入所述存储表在系统内存的数据结构中，包括：

在系统加载索引时，根据索引中记录的键的文件偏移和数据长度，计算现已存储所述存储表的用户数据的平均数据长度，并将所述平均数据长度存入所述数据结构；

在每次将存储表的内存表数据转储至磁盘时，利用内存表数据中新增的数据长度修正所述平均数据长度，并将修正后的平均数据长度更新至所述数据结构中。

6.如权利要求5所述的方法，其特征在于，将各存储表按平均数据长度进行分类包括：

针对每一个存储表，从所述系统内存的数据结构中提取平均数据长度，根据所述平均数据长度对所述存储表进行分类。

7.如权利要求1所述的方法，其特征在于，由所述工作队列的工作线程执行所述合并任务包括：

通过至少一个工作线程并行执行所述工作队列中的各个合并任务。

8.如权利要求7所述的方法，其特征在于，通过至少一个工作线程执行工作队列中的各个合并任务后，还包括：

当一工作队列中等待执行的合并任务的数量大于阈值时，自动增加新的工作线程以并行执行所述工作队列中的合并任务。

9.如权利要求1所述的方法，其特征在于，将各存储表按平均数据长度进行分类之前，还包括：

针对每个存储表生成一个合并任务。

10.一种数据合并的装置，包括：

存储表分类模块，适于获取每个存储表的平均数据长度，并以所述平均数据长度对各个存储表进行分类；所述平均数据长度为存储表中存储的各用户数据的平均数据长度；

任务提交模块，适于将同一分类的存储表对应的合并任务提交至负责所述分类的工作队列中；

任务处理模块，适于由所述工作队列的工作线程执行所述合并任务。

11.如权利要求10所述的装置，其特征在于，还包括：

工作队列创建模块，适于创建至少两个工作队列，所述工作队列的个数至少等于所述分类个数。

12.如权利要求11所述的装置，其特征在于，所述工作队列创建模块包括：

第一工作队列加载模块，适于在系统启动时加载配置文件，通过所述配置文件设置并创建至少两个工作队列；所述配置文件中包括平均数据长度的分类与工作队列的对应关系。

13.如权利要求10所述的装置，其特征在于，还包括：

数据长度统计模块，适于针对系统中的每个存储表，获取所述存储表的内存表数据转储至磁盘后的平均数据长度，并将所述平均数据长度存入所述存储表在系统内存的数据结构中。