[发明专利]分布式文件系统存储优化方法、计算机设备及存储介质

说明书

本发明提供了一种分布式文件系统存储优化方法、计算机设备及存储介质，包括：对分布式文件系统集群的每个数据节点的标识进行哈希计算，获得每个数据节点对应的节点哈希值，将所述哈希值映射至哈希环上，以表示所述每个数据节点在所述哈希环上的位置；获取遥感数据，对所述遥感数据进行立方体切分，获得数据切片，对所述数据切片进行至少一次预设处理，获得存储切片；获取所述存储切片的特征数据，对所述特征数据进行哈希计算，获得切片哈希值，其中，所述特征数据包括时间特征与空间特征；根据所述切片哈希值将所述存储切片通过预设规则存储在所述数据节点上，可以实现遥感数据进行时间关联和空间关联的存储策略，增加检索效率。

技术领域

本发明涉及分布式文件存储领域，具体而言，涉及一种分布式文件系统存储优化方法、计算机设备及存储介质。

背景技术

随着计算机技术的发展，数据的体量越来越大，传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，逐渐不能满足大规模储存应用的需要。

对于大体量数据，例如遥感数据的存储与管理，大多数采用分布式文件系统与数据库相结合的方式。分布式存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，提高了系统的可靠性，可用性。HDFS系统是分布式文件系统的典型代表，但是在实际应用时，分布式文件系统会将数据分散地存储到不同的数据节点，在对数据进行范围访问时，需要到多个数据节点中获取数据，效率较低，不利于高效的数据访问和处理。

发明内容

本发明解决的问题是如何在分布式文件系统中提高访问和处理遥感数据的速度。

为解决上述问题，本发明提供一种分布式文件系统存储优化方法，该方法包括如下步骤：

对分布式文件系统集群的每个数据节点的标识进行哈希计算，获得每个数据节点对应的节点哈希值，将所述节点哈希值映射至哈希环上，以表示每个所述数据节点在所述哈希环上的位置；获取遥感数据，对所述遥感数据进行立方体切分，获得数据切片，对所述数据切片进行至少一次预设处理，获得存储切片；获取所述存储切片的特征数据，对所述特征数据进行哈希计算，获得切片哈希值，其中，所述特征数据包括时间特征与空间特征；根据所述切片哈希值将所述存储切片通过预设规则存储在所述数据节点上，其中，所述预设规则包括：将所述切片哈希值与所述节点哈希值进行对比，将与所述切片哈希值对应的所述存储切片存储在标定数据节点上，所述标定数据节点为大于所述切片哈希值且与所述切片哈希值最接近的所述节点哈希值对应的所述数据节点。

相对于现有技术，本发明通过对分布式文件系统集群的每个数据节点的表示进行哈希计算，获得唯一的节点哈希值，将数据节点按照哈希值大小放入哈希环，可以随机且均匀地排列数据节点，平衡各个数据节点的负载，增加存储效率，减小数据节点的维护成本；通过对数据切片进行至少一次预设处理，并对存储切片进行哈希计算，获得存储切片的哈希值，再根据哈希值存储数据，基于数据的时间关联性和空间关联性，将时间相近或空间相近的数据存储在同一节点或相近的节点，可以增加检索效率和检索准确度。

可选地，所述对所述遥感数据进行立方体切分，获得数据切片包括：获得所述遥感数据的时间特征、空间特征和光谱维特征；将所述时间特征、所述空间特征、所述光谱维特征作为立方体的维度，对所述遥感数据进行切片。

由此，对遥感数据进行立方体切分，可以获得关于于立方体三个维度(空间、时间、光谱)的数据切片，保证进行立方体切分后的遥感数据仍具有切分之前的时间关联性和空间关联性。

可选地，对所述数据切片进行至少一次预设处理，获得存储切片包括：

对所述数据切片进行第二预设处理，获得所述数据切片的第二命名，其中，所述第二预设处理包括：截断所述数据切片的所述时间特征至预设精度、添加所述空间特征至截断后的时间特征后方。

由此，通过第二预设处理，可以获得具有时间特征和空间特征的命名，保证可以基于时间和空间的关键词进行检索。