[发明专利]分布式文件系统存储优化方法、计算机设备及存储介质在审
申请号: | 202110906828.3 | 申请日: | 2021-08-09 |
公开(公告)号: | CN113806298A | 公开(公告)日: | 2021-12-17 |
发明(设计)人: | 阎继宁;王力哲;王志鹏;刘洪;宋维静;邓泽 | 申请(专利权)人: | 中国地质大学(武汉) |
主分类号: | G06F16/13 | 分类号: | G06F16/13;G06F16/172;G06F16/17;G06F16/182 |
代理公司: | 北京隆源天恒知识产权代理有限公司 11473 | 代理人: | 戴棋钦 |
地址: | 430074 湖*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 文件系统 存储 优化 方法 计算机 设备 介质 | ||
1.一种分布式文件系统存储优化方法,其特征在于,包括:
对分布式文件系统集群的每个数据节点的标识进行哈希计算,获得每个数据节点对应的节点哈希值,将所述节点哈希值映射至哈希环上,以表示每个所述数据节点在所述哈希环上的位置;
获取遥感数据,对所述遥感数据进行立方体切分,获得数据切片,对所述数据切片进行至少一次预设处理,获得存储切片;
获取所述存储切片的特征数据,对所述特征数据进行哈希计算,获得切片哈希值,其中,所述特征数据包括时间特征与空间特征;
根据所述切片哈希值将所述存储切片通过预设规则存储在所述数据节点上,其中,所述预设规则包括:将所述切片哈希值与所述节点哈希值进行对比,将与所述切片哈希值对应的所述存储切片存储在标定数据节点上,所述标定数据节点为大于所述切片哈希值且与所述切片哈希值最接近的所述节点哈希值对应的所述数据节点。
2.根据权利要求1所述的分布式文件系统存储优化方法,其特征在于,所述对所述遥感数据进行立方体切分,获得数据切片包括:
获得所述遥感数据的时间特征、空间特征和光谱维特征;
将所述时间特征、所述空间特征、所述光谱维特征作为立方体的维度,对所述遥感数据进行切片。
3.根据权利要求2所述的分布式文件系统存储优化方法,其特征在于,所述对所述数据切片进行至少一次预设处理,获得存储切片包括:
对所述数据切片进行第二预设处理,获得所述数据切片的第二命名,其中,所述第二预设处理包括:截断所述数据切片的所述时间特征至预设精度、添加所述空间特征至截断后的时间特征后方。
4.根据权利要求3所述的分布式文件系统存储优化方法,其特征在于,在所述对所述数据切片进行第二预设处理之前,还包括:
对所述数据切片进行第一预设处理,获得所述数据切片的第一命名,其中,所述第一预设处理包括:对所述数据切片进行关于所述时间特征、空间投影类型与空间编码的命名。
5.根据权利要求1-4任一所述的分布式文件系统存储优化方法,其特征在于,所述获取所述存储切片的特征数据,对所述特征数据进行哈希计算,获得切片哈希值包括:
获取所述存储切片的所述时间特征和所述空间特征;
对所述时间特征和所述空间特征分别进行哈希计算,分别获得时间哈希和空间哈希,其中,所述切片哈希值包括所述时间哈希和所述空间哈希的至少一个。
6.根据权利要求5所述的分布式文件系统存储优化方法,其特征在于,所述根据所述切片哈希值将所述存储切片通过预设规则存储在所述数据节点上包括:
复制所述存储切片,获得两个切片副本,记为第一副本和第二副本;
将所述存储切片存储在发出写入请求的数据节点上;
基于所述时间哈希通过所述预设规则存储所述第一副本;
基于所述空间哈希通过所述预设规则存储所述第二副本。
7.根据权利要求6所述的分布式文件系统存储优化方法,其特征在于,所述根据所述切片哈希值将所述存储切片通过预设规则存储在所述数据节点上还包括:
若所述数据节点无法存储,则随机寻找与所述数据节点同一机架上的另一数据节点进行存储。
8.根据权利要求5所述的分布式文件系统存储优化方法,其特征在于,所述根据所述切片哈希值将所述存储切片通过预设规则存储在所述数据节点上包括:
使每个分布式文件系统的块存储空间仅存储一个所述存储切片。
9.一种计算机存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器读取并运行时,实现如权利要求1-8任一项所述的分布式文件系统存储优化方法。
10.一种计算机设备,其特征在于,包括存储有计算机程序的计算机可读存储介质和处理器,所述计算机程序被所述处理器读取并运行时,实现如权利要求1-8任一项所述的分布式文件系统存储优化方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国地质大学(武汉),未经中国地质大学(武汉)许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110906828.3/1.html,转载请声明来源钻瓜专利网。