[发明专利]基于日志结构合并树合并数据的方法、系统、设备及介质

说明书

本发明公开了一种基于日志结构合并树合并数据的方法、系统、设备和存储介质，方法包括：将磁盘分成预设大小的数据块，将数据保存在数据块并将数据的信息保存在索引块；每隔预定时间合并当前预定数量的索引块以形成新的索引块，并根据新的索引块的信息判断对应的数据块的有效数据是否小于阈值；响应于存在多个数据块的有效数据小于阈值，将多个数据块的有效数据进行合并，并释放不存在有效数据的数据块；响应于只存在一个数据块的有效数据小于阈值，将该数据块的有效数据合并到除该数据块外有效数据最低的数据块中。本发明通过将数据索引与数据分离，数据保存到预先分配的数据块，按照索引进行数据的合并和回收，减少磁盘的读写数据量。

技术领域

本发明涉及数据处理领域，更具体地，特别是指一种基于日志结构合并树合并数据的方法、系统、计算机设备及可读介质。

背景技术

LSM-Tree(Log-Structured Merge-Tree，日志结构合并树)最早在一篇论文《TheLog-Structured Merge-Tree(LSM-Tree)》中被提出，本身并不是一个产品或者系统，而是一种解决问题的算法和思想。基于该思想实现了多个存储产品，例如HBase、LevelDB等NoSQL存储系统。其核心思想是将随机写转换为顺序写来提高写性能，然后定期进行数据合并(Compaction)来提高读性能。基于该论文，一种常见的实现方式是将数据分层，分别为L0-Ln，然后定期将L层的数据合并到L+1层，这种方式在合并过程会产生大量的磁盘读取和写入，并最终影响到上层应用的性能。

发明内容

有鉴于此，本发明实施例的目的在于提出一种基于日志结构合并树合并数据的方法、系统、计算机设备及计算机可读存储介质，通过将数据索引与数据分离，数据保存到预先分配的数据块，定期将索引进行合并，按照索引进行数据的合并和回收，减少磁盘的读写数据量。

基于上述目的，本发明实施例的一方面提供了一种基于日志结构合并树合并数据的方法，包括如下步骤：将磁盘分成预设大小的数据块，将数据保存在所述数据块并将所述数据的信息保存在索引块；每隔预定时间合并当前预定数量的索引块以形成新的索引块，并根据所述新的索引块的信息判断对应的数据块的有效数据是否小于阈值；响应于存在多个数据块的有效数据小于所述阈值，将所述多个数据块的有效数据进行合并，并释放不存在有效数据的数据块；以及响应于只存在一个数据块的有效数据小于所述阈值，将所述数据块的有效数据合并到除所述数据块外有效数据最低的数据块中。

在一些实施方式中，所述每隔预定时间合并当前预定数量的索引块以形成新的索引块包括：将所述预定数量的索引块中不同的子索引全部保留，相同的子索引只保留最新的一个。

在一些实施方式中，方法还包括：响应于数据块被释放，对所述数据块进行回收标记以允许保存新的数据。

在一些实施方式中，方法还包括：响应于不存在数据块的有效数据小于所述阈值，暂停接收新数据直到下个周期。

本发明实施例的另一方面，还提供了一种基于日志结构合并树合并数据系统，包括：切分模块，配置用于将磁盘分成预设大小的数据块，将数据保存在所述数据块并将所述数据的信息保存在索引块；判断模块，配置用于每隔预定时间合并当前预定数量的索引块以形成新的索引块，并根据所述新的索引块的信息判断对应的数据块的有效数据是否小于阈值；第一合并模块，配置用于响应于存在多个数据块的有效数据小于所述阈值，将所述多个数据块的有效数据进行合并，并释放不存在有效数据的数据块；以及第二合并模块，配置用于响应于只存在一个数据块的有效数据小于所述阈值，将所述数据块的有效数据合并到除所述数据块外有效数据最低的数据块中。

在一些实施方式中，所述判断模块配置用于：将所述预定数量的索引块中不同的子索引全部保留，相同的子索引只保留最新的一个。

在一些实施方式中，系统还包括：标记模块，配置用于响应于数据块被释放，对所述数据块进行回收标记以允许保存新的数据。