[发明专利]面向Key-Value系统的compaction粗粒度进程级并行优化方法及系统

说明书

本发明公开了面向Key‑Value系统的compaction粗粒度进程级并行优化方法及系统，所述方法包括：主进程接收到读写请求后判断是否需要调度compaction线程，若是，主进程将compaction线程中的任务信息分割为主进程子任务和从进程子任务；主进程和从进程分别对主进程子任务和从进程子任务进行compaction操作；主进程在主进程完成主进程子任务compaction操作且从进程完成从进程子任务compaction操作后对Key‑Value系统的文件进行优化。本发明利用主进程完成Key‑Value系统中compaction任务的动态分割，并实现了与从进程协同compaction处理的新模式，挖掘了compaction任务的进程级并行性，充分利用了CPU的计算资源，提高了CPU资源的利用率，且优化了compaction消耗的时间，不仅提高了数据处理的实时性，而且提高了系统性能以及吞吐量。

技术领域

本发明涉及数据存储技术领域，尤其涉及面向Key-Value系统的compaction粗粒度进程级并行优化方法及系统。

背景技术

在如搜索引擎、大数据、云计算、云存储、电子商务及社交网络等数据密集型应用的环境下，持久化的Key-Value存储日益发挥着不可替代的作用。针对写密集型负载，基于LSM-tree的Key-Value存储成为当前最先进的技术。其中，应用较为广泛的Key-Value存储包括Google的BigTable、LevelDB，FaceBook的Cassandra等。LSM-tree数据组织由内存中的一个C0组件和磁盘中的C1～Ck组成。其中C0作为在内存中的一个缓冲区，一旦C0达到阈值，会和C1进行合并排序操作，此作称为compaction。此外，当磁盘中的组件Ci达到阈值的时候，也会触发Ci和Ci+1之间的compaction操作。随着数据量的增加，LSM-tree结构需要在组件之间频繁的进行compaction操作；这将大量占用系统资源，难以高效的服务用户请求。

现有针对compaction操作的研究主要集中于降低compaction频率,减少compaction引起的频繁IO或限定compaction任务在热数据的Key范围内。这些研究工作虽可以较好的提高Key-Value存储的性能，但是没有挖掘compaction的粗粒度进程级并行性潜力，因此也没有充分发挥CPU的计算能力。

因此，本发明设计了面向Key-Value存储系统的应用层compaction粗粒度进程级并行优化方法。本发明在现有的基础上，实现了进程级并行的处理compaction任务处理。与现有的以单一主进程为compaction处理方式相比而言，本发明充分发挥CPU的计算能力，实现了进程级(主进程和从进程)并行compaction的处理方法，提高compaction性能的同时，充分利用CPU的并行计算资源。

发明内容

基于背景技术存在的技术问题，本发明提出了面向Key-Value系统的compaction粗粒度进程级并行优化方法及系统。

本发明提出的面向Key-Value系统的compaction粗粒度进程级并行优化方法，包括以下步骤：

S1、主进程接收到读写请求后判断是否需要调度compaction线程，当判断结果为是时，主进程将compaction线程中的任务信息分割为主进程子任务和从进程子任务；

S2、主进程提取从进程子任务中的元数据信息并发送至从进程，并对主进程子任务进行compaction操作，从进程接收主进程发送的元数据信息后对从进程子任务进行compaction操作；

S3、主进程在主进程完成主进程子任务compaction操作且从进程完成从进程子任务compaction操作后对Key-Value系统的文件进行优化操作。

优选地，步骤S1具体包括：