[发明专利]云环境下基于网络连接复用的影像数据块高效传输方法

说明书

技术领域

本发明涉及计算机应用技术和地理信息科学领域，尤其涉及一种云环境下基于网络连接复用的影像数据块高效传输方法。

背景技术

近年来，随着对地观测技术的迅速发展，高分辨率遥感数据量呈几何级数增长。通过云存储来解决动态增长的海量遥感数据存储管理难题，是一种极具潜力的解决方案。对于大型的高分辨率遥感影像数据，通过分层分块方式进行组织，构建多分辨率层级影像金字塔，使用户可以对指定分辨率层级和空间区域影像进行获取，是实现影像数据高效发布的重要方法。为此，遥感数据云存储平台需要应付大规模影像数据块的并发请求。

目前，在影像数据块的传输方式上，通常是为每一个影像数据块建立一个单独连接。对于云存储分布式文件系统来说，尽管能够通过增加存储节点来应付动态增长的并发连接，但在传输大规模影像块时仍然需要频繁地建立和关闭数据连接，其传输效率仍然十分低下，并且严重浪费并发连接资源。

发明内容

本发明的目的目的是克服现有技术的不足，提供一种云环境下基于网络连接复用的影像数据块高效传输方法。

云环境下基于网络连接复用的影像数据块高效传输方法包括如下步骤：

1)客户端产生需要请求的影像数据集URI、目标影像层级、以及影像中目标区域的外边界范围BBox，其中BBox包含left、right、top和bottom四个参数；

2)客户端建立起与服务器端HTTP连接，通过Post方式发送上一步骤中的各参数进行请求；

3)服务器端接收到客户端请求之后，通过HDFS APIs访问云存储HDFS集群上对应URI的分布式影像数据集DID-over-HDFS，加载元数据信息；

4)服务器端根据客户端的请求参数、元数据信息中的各层影像范围和影像数据块行列数，计算客户端所请求的目标影像块行列号范围；

5)服务器端根据目标影像块行列号范围，通过HDFS API从云存储HDFS集群上的分布式影像数据集上加载目标影像块；

6)服务器端将目标影像数据块的元数据信息、影像数据块队列等封装成影像数据帧IDF，并传回给客户端；

7)客户端对接收到的影像数据帧IDF进行解析和处理，通过读取帧中影像数据块的数量、各影像数据块行列号信息，对影像数据块进行拼接处理，从而获取到目标区域影像数据。

步骤3)所述的分布式影像数据集DID-over-HDFS是由一个大型数据集文件和索引文件构成，在分布式文件系统HDFS上进行存储；将影像数据分层分块后形成的多分辨率层级影像金字塔，基于<M,B>存储模型，有序地组合成一个大型数据集，并在分布式文件系统HDFS上进行分布式存储，其中M为影像数据块的行列位置码，B为影像数据块二进制流；在数据集头部存储元数据信息，包含影像坐标范围、层数、行列数、各层分辨率信息；同时，使用一个基于<M,P>存储模型的索引文件对数据集中的各影像数据块进行索引，通过P来指向数据集中影像数据块的存储位置，从而支持通过行列位置码M来读取影像数据块。

步骤6)所述的影像数据帧IDF分别由头部和数据主体部分组成，头部包括帧的版本号，影像数据块数量，数据主体长度，影像数据元数据长度，元数据序列化对象和元数据对象校验和，数据主体部分采用<M,(L,B)>键值对结构存储，其中M表示影像数据块的行列位置码，L为影像数据块长度，B为影像数据块二进制流。

本发明与现有技术相比具有的有益效果：

（1）大大提高了遥感数据云平台的大规模影像数据块集合传输的效率，有效降低了系统处理大规模并发短连接的资源耗费，为云数据中心建设提供了关键技术；

（2）使用云存储方式和影像数据分层分块组织来实现动态增长的遥感数据存储管理，解决海量高分辨率遥感影像数据存储和发布难题；

附图说明

图1是本发明的影像数据帧结构；

图2是本发明的M-Code结构；

图3是本发明的基于NCM的影像数据传输流程。

具体实施方式

云环境下基于网络连接复用的影像数据块高效传输方法包括如下步骤：

1)客户端产生需要请求的影像数据集URI、目标影像层级、以及影像中目标区域的外边界范围BBox，其中BBox包含left、right、top和bottom四个参数；

2)客户端建立起与服务器端HTTP连接，通过Post方式发送上一步骤中的各参数进行请求；