[发明专利]存储方法及系统

说明书

技术领域

本发明涉及数据处理技术领域，具体来说，涉及一种存储方法及系统。

背景技术

近些年，我国航天事业发展迅速，对地观测技术突飞猛进，各种遥感仪器 空间分辨率、光谱分辨率，时间分辨率不断提高，各种不同应用遥感影像的数 据量急剧增长，积累了大量的影像数据。以ZY3号卫星数据为例，在轨运行 300天，产生的数据量高达17TB。随着我国卫星数量的增加和数据的积累， 如何高效存储和管理海量遥感影像数据已经成为厄需解决的一大难题。

传统的集中式管理系统难以满足海量遥感影像数据的大容量，高并发，扩 展性强，安全性高等的要求，已经很难用来高效存储和管理海量遥感影像数据。 近些年大规模分布式存储系统得到快速发展，使用大规模分布式文件系统解决 海量遥感数据存储的问题逐渐进入了人们的视野。Google在Google地图和 GoogleEarth中采用了分布式存储系统GFS来解决海量影像的存储和管理,同 时采用BigTable解决了小文件的问题。为了实现遥感影像快速浏览和检索， Google针对遥感影像图片进行存储的影像金字塔模型，实质上是对一大块的 影像图片进行分块处理，然后对数据根据用户的需要一不同分辨率进行存储与 现实，形成一个自顶而下的文件金字塔结构。采用“分层分块”策略的瓦片 金字塔对数据集进行多维度的剖分组织，不仅极大地缩短了数据的访问时间， 还可以实现不同分辨率数据之间的无缝浏览，是海量遥感数据组织的理想结 构。

传统遥感影像数据的存储与管理以集中式存储和管理为主，遥感影像文件 与元数据信息共同存储与文件夹中，文件夹以目录的形式进行管理。这种方法 在数据存储冗余备份、水平节点扩展、数据负载均衡和硬件成本上，无法满足 上述日益增长的数据存储与计算需求。

随着大规模分布式存储系统的发展，已经有一些研究和实践利用分布式存 储系统存储和管理海量遥感影像数据，目前应用较多的存储方法是利用分布式 系统(例如HDFS)存储遥感影像数据，用关系型数据库(Oracle/MySQL等)存 储遥感影像的元数据对数据进行快速索引。这一方法在一定程度上解决了海量 遥感影像数据的存储和管理问题，但是也存在着诸多问题。首先，利用关系型 数据库存储海量遥感影像的元数据同样存在着性能瓶颈，随着数据量的增加， 元数据的表操作性能会逐渐降低。其次，在关系型数据库中元数据的备份需要 定期手动操作，这无疑增加了工作量和数据丢失的可能性。最后，通常情况下， 遥感影像的大小在几百兆到几个G，因此，统一路径下读写如此大的文件必然 会导致读写效率不高的问题，若将文件切割，在海量遥感影像的情况下会导致 分布式存储系统的小文件问题和关系关系数据库负担的增加。

在开源界，有些学者利用HDFS和HBase来存储海量遥感影像数据，但 是HDFS存在着空间利用率低的问题，这使得硬件设备不能充分被利用。同时， HDFS是利用Java语言开发，其执行效率不是很高。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种存储方法及系统，能够满足海量 遥感影像数据大容量，高并发，高安全等的要求，实现对海量遥感影像文件的 存储与管理，大大提高了对海量遥感影像文件的查询效率以及对局部影像的定 位能力。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种存储方法，该存储方法用于存储海量 遥感影像文件。

该存储方法包括：

接收海量遥感影像文件；

根据四叉树索引，将海量遥感影像文件分割为多个子遥感影像文件并记录 子遥感影像文件对应的第一元数据信息；

存储多个子遥感影像文件以及第一元数据信息。

在一个优选的实施例中，第一元数据信息包括：

子遥感影像文件的数据信息以及存储位置。

在一个优选的实施例中，子遥感影像文件的数据信息为子遥感影像文件所 对应的地理覆盖区域的参数。

在一个优选的实施例中，存储多个子遥感影像文件以及第一元数据信息之 前进一步包括：

记录海量遥感影像文件对应的第二元数据信息，其中，第二元数据信息为 海量遥感影像文件所对应的地理覆盖区域的参数。

在一个优选的实施例中，存储方法进一步包括：

对第一元数据信息进行备份。