[发明专利]一种利用双粒度加速访问基于日志结构合并树的键值数据存储的方法

说明书

本发明公开了一种利用双粒度加速访问基于日志结构合并树的键值数据存储的方法，属于键值存储技术领域，针对日志结构合并树的合并操作操作造成的读性能抖动问题，提出一种双粒度缓存，缓解合并操作造成导致的缓存失效造成的读性能抖动问题，提高日志结构合并树的读性能，是将日志结构合并树中不同层次的数据缓存到粗细两种不同粒度的缓存中。其粗粒度缓存以数据块为单位对系统读到的数据块进行缓存，细粒度缓存以键值对为单位对最近访问过的键值对进行缓存。本发明的优点是通过粗细两种不同粒度的缓存组合为双粒度缓存，充分利用日志结构合并树的结构特点加速日志结构合并树的读性能。

技术领域

本发明属于计算机存储技术领域，涉及一种基于日志结构合并树键值存储的双粒度缓存方法。本发明所提出的方法将针对提高基于日志结构合并树键值存储的读性能。

背景技术

随着互联网的快速发展，现代社会已经步入大数据时代，数据量和访问量呈爆发式增长，有效地存储和访问这些数据成为当前海量存储系统技术领域所关心的重点内容。在这个背景下，以NoSQL为代表的非关系型数据库应运而生。在NoSQL中，基于日志结构合并树的键值存储引擎因其简单、可扩展和高性能等优点成为键值存储的主流存储引擎，例如：LevelDB、RocksDB、HBase和 Cassandra。日志结构合并树通常由两个部分组成，一个为内存部分，一个为硬盘部分。内存结构通常按照跳表或者B树的方式组织为有序的结构，称为第0层，它的作用是存储系统最近写入、更新或删除的键值对。它的大小通常比较小，当其容量大小达到了设定的阈值，第0层存储的键值对会被以顺序写入的方式持久化到硬盘结构中的第1层中形成一个文件，这个操作被称为刷写操作。硬盘结构被组织为多层结构。各层的容量大小按照从上到下的顺序依次按照参数f成倍增加，业内通常将f设置为10。例如第i层的空间大小是第i-1层大小的10倍。第1 层用来存储被刷写操作写入进的数据。当第1层的大小达到了设定的阈值，日志结构合并树将其存储的键值对合并写入到下一层中。这个过程被称为合并操作。

日志结构合并树将系统的随机写操作转化为顺序写操作，从而提高了写性能。对于读操作，由于日志结构合并树是一种多层的数据结构，系统在执行读请求的时会访问其多层来查询目标键值对。系统执行一个读请求需要对硬盘进行多次I/O才能获取到数据，这个导致了日志结构合并树读放大问题。为了提升系统的读性能，缓存是最常使用的一项技术。然而，日志结构合并树需要合并操作来维护自身结构和垃圾回收。频繁的合并操作不仅占用了系统大量的资源，而且还导致其合并的数据缓存在缓存中的数据失效，造成了读性能的抖动。早期的研究提出了许多不同的方式来优化日志结构合并树合并操作造成的缓存失效问题。例如在LSbM中，通过在硬盘中建立一个合并缓冲层，将缓存建立在合并缓冲层之上，从而缓解了合并操作造成的缓冲失效问题。但是这样的设计使得读操作没有在缓冲中命中的情况下，需要在合并缓冲层中逐层进行查找，其查找成本比日志结构合并树更高。由此可见，一个高效的缓冲是提高日志结构合并树的读性能的关键。

为此，本发明针对日志结构合并树读放大和合并操作造成缓冲失效等关键问题，提出一种新型的缓存系统，可以有效的缓解合并操作造成的缓存失效，从而大大提高了基于日志结构合并树的读性能以及读性能稳定性，为增强数据中心数据存储与访问的服务质量提供技术保障。

发明内容

本发明的目：针对现有技术的不足，本发明提出一种利用双粒度加速访问基于日志结构合并树的键值数据存储的方法，能够有效缓解日志结构合并树的合并操作引起缓存失效造成的读性能抖动，并提升读取性能。

技术方案：为了对本发明的技术方案有更清楚的认识，首先阐述本发明的技术构思如下：