[发明专利]一种基于RocksDB的大内存优化方法及系统在审
申请号: | 202111455328.9 | 申请日: | 2021-12-01 |
公开(公告)号: | CN114138788A | 公开(公告)日: | 2022-03-04 |
发明(设计)人: | 翟延成;梁波;张炜刚 | 申请(专利权)人: | 浪潮云信息技术股份公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F12/02;G06F12/122 |
代理公司: | 济南信达专利事务所有限公司 37100 | 代理人: | 郗艳荣 |
地址: | 250100 山东省济南市高*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 rocksdb 内存 优化 方法 系统 | ||
1.一种基于RocksDB的大内存优化方法,其特征在于:包括以下步骤:
第一步,增加imline链式队列,将写满后的内存表Mem Table转换成只读型内存表imMemTable,并将其放入imline链式队列内;
第二步,判断imline链式队列成员数量是否超出阈值,若超出则跳转到第三步,否则继续写入操作;
第三步,选择待合并的只读型内存表imMemTable,将选择的待合并的只读型内存表imMemTable合并成一个更大的只读型内存表imMemTable,并将其放入imline链式队列内;合并完成后,将已完成合并的只读型内存表imMemTable从imline链式队列中删除并清理;
第四步,判断内存使用量是否超过了阈值,若超出则跳转回第三步,否则继续写入操作;
第五步,选择imline链式队列中的只读型内存表imMemTable进行刷盘Flush,将选择的只读型内存表imMemTable放入后台刷盘Flush线程中刷新到磁盘。
2.根据权利要求1所述的基于RocksDB的大内存优化方法,其特征在于:所述第三步中,采用最近最不经常使用算法LFU,根据只读型内存表imMemTable的访问频率,选择待合并的只读型内存表imMemTable。
3.根据权利要求1所述的基于RocksDB的大内存优化方法,其特征在于:所述第五步中,采用最近最不经常使用算法LFU,根据内存使用量和只读型内存表imMemTable的访问频率,选择imline链式队列中的只读型内存表imMemTable。
4.根据权利要求1~3所述的基于RocksDB的大内存优化方法的系统,其特征在于:包括:
内存表Mem Table管理模块,负责将写满后的内存表Mem Table转换成只读型内存表imMemTable,将选择的待合并的只读型内存表imMemTable合并成一个更大的只读型内存表imMemTable;
imline链式队列模块,用于创建imline链式队列,并将只读型内存表imMemTable放入imline链式队列内;
imline链式队列判断模块,用于判断imline链式队列成员数量是否超出阈值,并根据判断结果发出操作指令,若imline链式队列成员数量超出阈值则跳转到第三步,否则继续写入操作;
内存使用量判断模块,用于判断内存使用量是否超出阈值,并根据判断结果发出操作指令,若内存使用量超出阈值则跳转回第三步,否则继续写入操作;
线程管理模块,负责选择imline链式队列中的只读型内存表imMemTable进行刷盘Flush,并将选择的只读型内存表imMemTable放入后台刷盘Flush线程中刷新到磁盘。
5.根据权利要求4所述的基于RocksDB的大内存优化方法的系统,其特征在于:所述内存表Mem Table管理模块采用最近最不经常使用算法LFU,根据只读型内存表imMemTable的访问频率,选择待合并的只读型内存表imMemTable。
6.根据权利要求4所述的基于RocksDB的大内存优化方法的系统,其特征在于:包括所述线程管理模块采用最近最不经常使用算法LFU,根据内存使用量和只读型内存表imMemTable的访问频率,选择imline链式队列中的只读型内存表imMemTable。
7.一种计算机设备,其特征在于:包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1~3所述的基于RocksDB的大内存优化方法的步骤。
8.一种计算机可读存储介质,其特征在于:其上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1~3所述的基于RocksDB的大内存优化方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浪潮云信息技术股份公司,未经浪潮云信息技术股份公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111455328.9/1.html,转载请声明来源钻瓜专利网。