[发明专利]一种基于影像块组织的遥感数据云存储方法

说明书

技术领域

本发明涉及分布式存储和地理信息科学的交叉领域，尤其涉及一种基于影像块组织的遥感数据云存储方法。

背景技术

随着对地观测系统的飞速发展，遥感数据产品正以几何级数迅速增长。为降低存储成本，国内外各大数据存储中心普遍采用多级的数据存储架构，其中SAN等价格昂贵的专用存储设备仅用来存储在线数据，而近线数据和离线数据则采用磁带库或DVD等低速设备进行存储，严重制约了近线数据和离线数据的可用性。云存储平台的分布式文件系统支持通过按需增加集群节点来相应提高存储容量和数据吞吐率，同时具有廉价性。因此，采用云存储能够富有弹性地应付不断增长的遥感数据产品存储需求，具有其他方式所无法比拟的优势。

遥感影像数据具有影像幅面大和数据量大的显著特点，为实现用户对影响上指定空间区域内的影像数据进行访问，需要将各影像数据进行分层分块组织存储，从而导致了大规模影像数据块小文件的产生。当前主流的云平台分布式文件系统（如GFS、HDFS、KFS、Sector、MooseFS等），基本采用Master/Slave结构。该结构使系统的整体性能得到提高，然而主要针对大型数据集的存储而优化，不利于大规模的影像数据块小文件存储。

因此，遥感数据云存储需要根据影像的空间区域访问特性，设计一种针对遥感影像空间区块划分的分布式数据多层次剖分与存储模型，解决大规模影像数据块小文件存储效率问题，优化遥感影像数据的存储与访问的效率。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于影像块组织的遥感数据云存储方法。

基于影像块组织的遥感数据云存储方法包括如下步骤：

（1）影像数据的入库

1）初始化

连接HDFS集群，设置分布式文件系统数据块副本数，创建索引序列容器和数据序列容器，分别用于存储影像数据块索引记录和影像数据块实体记录，指定索引文件的基本偏移量，即数据序列容器的初始字节数，以及索引记录偏移量，即每个索引记录所占的字节数；

2）写入分布式影像数据集的元数据

将元数据以二进制流形式写入数据序列容器作为首记录；在元数据实体写入之前，预先写入元数据二进制流的长度，以便后续程序根据元数据实际长度正确读取；在元数据实体写入之后，写入其CSC32检验码，用于快速检验数据的完整性；

3）对影像数据块进行编码

根据下式对待入库的影像数据块进行编码，产生对应于各层、各子层或各波段、各行列位置的影像数据块的M码；

    M＝((long)layer)＜＜56|((long)band)＜＜48|((long)hCode)     (1)

其中，layer为层级，band为波段号，hCode为影像数据块的位置的Hilbert编码。

4）循环写入索引数据和影像数据块

分别将索引数据键值对<M_k,P_k>和影像数据块键值对<M_k,(T_k,C_k)>写入索引序列容器和数据序列容器，其中M、P、T、C分别表示影像数据块的M码、序列容器中的存储位置、影像数据块二进制流和CSC32校验码；首先在索引序列容器中写入当前数据序列容器的长度，再将<M_k,(T_k,C_k)>键值对写入数据序列容器，从而记录影像数据块键值对<M_k,(T_k,C_k)>实际存储位置P_k值；在写入目标影像数据块二进制流之前，须先写入目标影像数据块本身的数据长度，供后续程序的正确读取。

5）完成写入

完成所有影像数据块写入后，关闭索引序列容器和数据序列容器，并释放所有其他系统I/O资源；

（2）影像数据的检索

影像数据检索是根据用户所请求的空间范围，从分云平台上读取特定分辨率层级、特定范围内的影像数据块集合，主要步骤如下：

1）读取元数据

连接HDFS集群，根据索引序列容器和存储序列容器的URI打开索引序列容器和数据序列容器，从数据序列容器中读取元数据记录值，并通过CSC32校验码验证元数据的完整性；

2）计算影像数据块行列号

解析元数据记录二进制流，从中读取指定层级的坐标范围和影像数据块行列数，由此计算出所需的各影像数据块的行列号；