[发明专利]一种数据合并的方法和装置

说明书

技术领域

本发明涉及计算机技术领域，具体涉及一种数据合并的方法和装置。

背景技术

目前几乎所有的大数据存储系统，基于存储与读写性能的考虑，在实现上都采用对了数据Append模式，即所有的写操作都将先将数据写入内存中的Memtable(内存表)即可，Memtable写满后Dump(转储)到磁盘上的SSTable(Sorted String Table,有序字符串表)文件中。

但是，当磁盘上SSTable文件数过多的时候，会导致来自客户端的检索请求所打开的文件数会很多，单个请求的资源消耗大幅增加，从而导致整个系统的吞吐和性能大幅下降。因此，系统需要再后台通过Compaction(可以理解为合并)机制将全部或部分SSTable文件合并成新的SSTable文件，以达到降低文件个数提高系统吞吐和性能、去除重复数据节省磁盘空间的目的。

但是现有的Compaction机制如图1所述，系统存在一个Compaction工作队列TaskQueue，当SSTable个数等满足一定的条件时会将这些SSTable文件作为一个Compaction(如图1中compaction task0、compaction task1、compaction task2)任务提交到工作队列中。每一个Compaction过程就是一个工作任务，工作线程worker按照提交顺序串行的执行Compaction任务，完成对应SSTable文件的合并。

但是随着用户的Keyspace(在Cassandra中，Keyspace就是数据的存储容器，一般Keyspace的存储大小是一样的)越来越多，以及数据的持续写入，各Keyspace的SSTable文件的个数会越来越多。而由于Compaction过程本质上是一个多路归并操作，即从若干个参与Compaction过程的SSTable文件中逐个读取每个key及其数据，进而合并输出到一个SSTable文件中。因此，对于那些平均数据长度很小(如几字节)的Keyspace而言，其做一次Compaction的时间远大于那些平均数据长度很大(如几百K)的Keyspace的Compaction时间。因为一般存储系统在keyspace由memtable表dump到磁盘时，memtable的容量是固定的，那么平均数据长度越小的keyspace中，其存储的用户数据条数更多，其key也更多。

那么，由图1的现有技术过程可知，在一个工作队列中,当包括大量的平均数据长度较小的SSTable的Compaction任务执行时，其Compaction过程持续时间很长，会严重阻塞其他Keyspace的SSTable的合并，从而导致系统层面整体数据Compaction执行时间过长，甚至无法保证每天新增数据的合并，进而导致系统访问吞吐性能下降。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据合并的装置和相应的一种数据合并的方法。

依据本发明的一个方面，提供了一种数据合并的方法，包括：

获取每个存储表的平均数据长度，并以所述平均数据长度对各个存储表进行分类；所述平均数据长度为存储表中存储的各用户数据的平均数据长度；

将同一分类的存储表对应的合并任务提交至负责所述分类的工作队列中；

由所述工作队列的工作线程执行所述合并任务。

优选的，还包括：

创建至少两个工作队列，所述工作队列的个数至少等于所述分类个数。

优选的，所述创建至少两个工作队列包括：

在系统启动时加载配置文件，通过所述配置文件设置并创建至少两个工作队列；所述配置文件中包括平均数据长度的分类与工作队列的对应关系。

优选的，还包括：

针对系统中的每个存储表，获取所述存储表的内存表数据转储至磁盘后的平均数据长度，并将所述平均数据长度存入所述存储表在系统内存的数据结构中。

优选的，针对系统中的每个存储表，获取所述存储表的内存表数据转储至磁盘后的平均数据长度，并将所述平均数据长度存入所述存储表在系统内存的数据结构中，包括：

在系统加载索引时，根据索引中记录的键的文件偏移和数据长度，计算现已存储所述存储表的用户数据的平均数据长度，并将所述平均数据长度存入所述数据结构；

在每次将存储表的内存表数据转储至磁盘时，利用内存表数据中新增的数据长度修正所述平均数据长度，并将修正后的平均数据长度更新至所述数据结构中。