[发明专利]大数据存储管理方法、设备及计算机可读存储介质在审
申请号: | 201910602096.1 | 申请日: | 2019-07-05 |
公开(公告)号: | CN110362649A | 公开(公告)日: | 2019-10-22 |
发明(设计)人: | 张浩春 | 申请(专利权)人: | 武汉莱博信息技术有限公司 |
主分类号: | G06F16/30 | 分类号: | G06F16/30;G06F16/31;G06F16/33;G06F16/951 |
代理公司: | 武汉红观专利代理事务所(普通合伙) 42247 | 代理人: | 张文俊 |
地址: | 430000 湖北省武汉市东湖新技*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文献资料 存储 数据库 计算机可读存储介质 存储管理 大数据 数据库存储空间 重复存储 最大化 检测 应用 | ||
1.一种大数据存储管理方法,其特征在于,所述大数据存储管理方法包括以下步骤:
当接收到待存储文献资料时,检测数据库中是否存在与所述待存储文献资料一致的已存储文献资料;
若数据库中不存在与所述待存储文献资料一致的已存储文献资料,则将所述待存储文献资料存储至数据库中。
2.如权利要求1所述的大数据存储管理方法,其特征在于,所述当接收到待存储文献资料时,检测数据库中是否存在与所述待存储文献资料一致的已存储文献资料的步骤包括:
当接收到待存储文献资料时,计算所述待存储文献资料的哈希值;
获取数据库中已存储的各个文献资料的哈希值;
检测所述数据库中已存储的各个文献资料的哈希值中是否存在所述待存储文献资料的哈希值;
若所述数据库中已存储的各个文献资料的哈希值中存在所述待存储文献资料的哈希值,则确定数据库中存在与所述待存储文献资料一致的已存储文献资料;
若所述数据库中已存储的各个文献资料的哈希值中不存在所述待存储文献资料的哈希值,则确定数据库中不存在与所述待存储文献资料一致的已存储文献资料。
3.如权利要求1所述的大数据存储管理方法,其特征在于,在所述将所述待存储文献资料存储至数据库中的步骤之后,还包括:
当数据库中的文献资料被提取时,生成提取记录,并保存至提取日志中。
4.如权利要求3所述的大数据存储管理方法,其特征在于,在所述当数据库中的文献资料被提取时,生成提取记录,并保存至提取日志中的步骤之后,还包括:
检测数据库的剩余存储空间是否小于预设存储量;
若数据库的剩余存储空间小于预设存储量,则基于所述提取日志检测是否存在一份或多份文献资料的被提取次数小于预设阈值;
若存在一份或多份文献资料的被提取次数小于预设阈值,则将所述一份或多份文献资料从数据库中删除。
5.一种大数据存储管理设备,其特征在于,所述大数据存储管理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的大数据存储管理程序,所述大数据存储管理程序被所述处理器执行时实现如下步骤:
当接收到待存储文献资料时,检测数据库中是否存在与所述待存储文献资料一致的已存储文献资料;
若数据库中不存在与所述待存储文献资料一致的已存储文献资料,则将所述待存储文献资料存储至数据库中。
6.如权利要求5所述的大数据存储管理设备,其特征在于,所述大数据存储管理程序被所述处理器执行时还实现如下步骤:
当接收到待存储文献资料时,计算所述待存储文献资料的哈希值;
获取数据库中已存储的各个文献资料的哈希值;
检测所述数据库中已存储的各个文献资料的哈希值中是否存在所述待存储文献资料的哈希值;
若所述数据库中已存储的各个文献资料的哈希值中存在所述待存储文献资料的哈希值,则确定数据库中存在与所述待存储文献资料一致的已存储文献资料;
若所述数据库中已存储的各个文献资料的哈希值中不存在所述待存储文献资料的哈希值,则确定数据库中不存在与所述待存储文献资料一致的已存储文献资料。
7.如权利要求5所述的大数据存储管理设备,其特征在于,所述大数据存储管理程序被所述处理器执行时还实现如下步骤:
当数据库中的文献资料被提取时,生成提取记录,并保存至提取日志中。
8.如权利要求5所述的大数据存储管理设备,其特征在于,所述大数据存储管理程序被所述处理器执行时还实现如下步骤:
检测数据库的剩余存储空间是否小于预设存储量;
若数据库的剩余存储空间小于预设存储量,则基于所述提取日志检测是否存在一份或多份文献资料的被提取次数小于预设阈值;
若存在一份或多份文献资料的被提取次数小于预设阈值,则将所述一份或多份文献资料从数据库中删除。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有大数据存储管理程序,所述大数据存储管理程序被处理器执行时实现如权利要求1至4中任一项所述的大数据存储管理方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉莱博信息技术有限公司,未经武汉莱博信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910602096.1/1.html,转载请声明来源钻瓜专利网。