[发明专利]基于日志结构合并树合并数据的方法、系统、设备及介质有效
申请号: | 202110025147.6 | 申请日: | 2021-01-08 |
公开(公告)号: | CN112732191B | 公开(公告)日: | 2023-01-10 |
发明(设计)人: | 于鲁宪;侯斌 | 申请(专利权)人: | 苏州浪潮智能科技有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F16/22 |
代理公司: | 北京连和连知识产权代理有限公司 11278 | 代理人: | 李红萧;陈黎明 |
地址: | 215100 江苏省苏州市吴*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 日志 结构 合并 数据 方法 系统 设备 介质 | ||
1.一种基于日志结构合并树合并数据的方法,其特征在于,包括以下步骤:
将磁盘分成预设大小的数据块,将数据保存在所述数据块并将所述数据的信息保存在索引块;
每隔预定时间合并当前预定数量的索引块以形成新的索引块,并根据所述新的索引块的信息判断对应的数据块的有效数据是否小于阈值;
响应于存在多个数据块的有效数据小于所述阈值,将所述多个数据块的有效数据进行合并,并释放不存在有效数据的数据块;以及
响应于只存在一个数据块的有效数据小于所述阈值,将所述数据块的有效数据合并到除所述数据块外有效数据最低的数据块中,
方法还包括:响应于不存在数据块的有效数据小于所述阈值,暂停接收新数据直到下个周期。
2.根据权利要求1所述的方法,其特征在于,所述每隔预定时间合并当前预定数量的索引块以形成新的索引块包括:
将所述预定数量的索引块中不同的子索引全部保留,相同的子索引只保留最新的一个。
3.根据权利要求1所述的方法,其特征在于,还包括:
响应于数据块被释放,对所述数据块进行回收标记以允许保存新的数据。
4.一种基于日志结构合并树合并数据的系统,其特征在于,包括:
切分模块,配置用于将磁盘分成预设大小的数据块,将数据保存在所述数据块并将所述数据的信息保存在索引块;
判断模块,配置用于每隔预定时间合并当前预定数量的索引块以形成新的索引块,并根据所述新的索引块的信息判断对应的数据块的有效数据是否小于阈值;
第一合并模块,配置用于响应于存在多个数据块的有效数据小于所述阈值,将所述多个数据块的有效数据进行合并,并释放不存在有效数据的数据块;以及
第二合并模块,配置用于响应于只存在一个数据块的有效数据小于所述阈值,将所述数据块的有效数据合并到除所述数据块外有效数据最低的数据块中,
系统还包括:暂停模块,配置用于响应于不存在数据块的有效数据小于所述阈值,暂停接收新数据直到下个周期。
5.根据权利要求4所述的系统,其特征在于,所述判断模块配置用于:
将所述预定数量的索引块中不同的子索引全部保留,相同的子索引只保留最新的一个。
6.根据权利要求4所述的系统,其特征在于,还包括:
标记模块,配置用于响应于数据块被释放,对所述数据块进行回收标记以允许保存新的数据。
7.一种计算机设备,其特征在于,包括:
至少一个处理器;以及
存储器,所述存储器存储有可在所述处理器上运行的计算机指令,所述指令由所述处理器执行时实现权利要求1-3任意一项所述方法的步骤。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-3任意一项所述方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州浪潮智能科技有限公司,未经苏州浪潮智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110025147.6/1.html,转载请声明来源钻瓜专利网。