[发明专利]热点感知的日志结构合并树读写性能优化方法及相关设备

说明书

本发明公开了热点感知的日志结构合并树读写性能优化方法及相关设备，属于数据存储技术领域，包括：在内存中维护粗粒度缓存和细粒度缓存，分别以数据块和键值对为粒度对系统中最近被访问的数据进行缓存；粗粒度缓存为只读缓存，用于服务范围查询操作；细粒度缓存为读写混合缓存，用于服务点查询操作和写操作；在硬盘上引入热点感知的数据合并方法，设计实现了数据热度的计算方法，基于数据访问热度调度日志结构合并树中内部数据合并操作的执行，同时对参与合并的无效数据进行快速剪枝，合并完成后预取较热的新数据块到粗粒度缓存中。本发明能够提升缓存命中率，缩短读写路径，对日志结构合并树的读写性能进行优化。

技术领域

本发明属于数据存储技术领域，更具体地，涉及热点感知的日志结构合并树读写性能优化方法及相关设备。

背景技术

随着信息技术的高速发展以及数据量的爆炸式增长，各个行业领域都产生了海量数据，对于存储系统的性能要求也进一步提高，而传统数据存储系统中常常使用相对固定的数据模型来组织管理数据，通常基于一些简单的数据场景来建立数据模型，例如使用简单的逻辑二维表来表现展示数据，所以无法应对大数据时代数据形式多样化的趋势以及高性能的并发读写需求，非结构化数据存储系统应运而生。

基于日志结构合并树(Log-Structured Merge Tree,LSM-Tree)的非结构化数据库近年来成为了现代存储系统的基础设施，以键值存储的形式对外提供关键的数据存储服务。基于日志结构合并树的存储系统充分考虑了存储设备顺序读写性能远好于随机读写性能的特性，采用内存延迟批量写入的方式获得了较高的写性能，广泛应用于写密集的应用场景中。

日志结构合并树虽然可以提供优异的写性能，但因为需要在后台不断地进行合并操作及时地删除过期数据并保证存储设备上数据的有序性，导致日志结构合并树的读性能相比于写性能较低，不足以应用到更广泛的读写混合场景。其次，如今的应用负载常常包含数据热点，即少部分数据占据了大部分的请求访问，而现有的日志结构合并树并没有考虑到负载的热点特征，且还会因为合并操作使得热点数据在存储设备上反复读写，和前台的用户请求争用内部服务器资源，造成读写性能的下降。

总的来说，现有的基于日志结构合并树的存储系统，读写性能有待进一步提高。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种热点感知的日志结构合并树读写性能优化方法及相关设备，其目的在于，对日志结构合并树的读写性能进行优化。

为实现上述目的，按照本发明的一个方面，提供了一种热点感知的日志结构合并树读写性能优化方法，包括：

在内存中维护粗粒度缓存和细粒度缓存，分别以数据块和键值对为粒度对系统中最近被访问的数据进行缓存；

并且，用于查询目标键值对的点查询操作，其执行包括：

(R1)在细粒度缓存中查询目标键值对，若查询成功，则转入步骤(R4)；否则，转入步骤(R2)；

(R2)按照写缓冲、只读写缓冲、粗粒度缓存以及日志结构合并树的顺序依次访问各组件，直至查询到目标键值对，若在所有组件中均未查询到目标键值对，则点查询操作结束；否则，转入步骤(R3)；

(R3)将查询到的键值对缓存到细粒度缓存中；若目标键值对在日志结构合并树中被查询到，则将目标键值对所在数据块缓存到粗粒度缓存中；

(R4)返回查询到的键值对，点查询操作结束。

进一步地，细粒度缓存中还维护有脏数据队列，用于记录细粒度缓存中因更新而产生的脏数据；

并且，写操作的执行包括：

(W1)将待写入的键值对写入写前日志中；