[发明专利]一种基于分片模式的遥感数据管理方法

说明书

本发明公开了一种基于分片模式的遥感数据管理方法，把遥感图像和元数据进行统一化的数据匹配预处理，在遥感数据分割模型的基础上将入库前的数据块进行分割，以效率较高地方式存储在数据库中，通过网络传输的方式将数据上传至数据中心，经过数据中心的统一调配处理，将海量的数据块分配给不同的数据节点，在数据节点中，为保证负载均衡路由进程将数据合理地下发至各个分片中，以供用户访问数据。本发明中的遥感数据分布式数据结构实现了遥感数据的检索、整合和共享，且在高并发情况下，多个请求的查询被合并成一次进行，以减少数据库的访问次数，不但为多源遥感数据的集成提供了一种新的分布式管理思路，还为并行化计算提供了理论和数据结构基础。

技术领域

本发明属于遥感数据管理技术领域，具体涉及一种基于分片模式的遥感数据管理方法。

背景技术

地球系统中的大气、海洋、陆地和植被等条件的变化实时刻影响着人类获得，地球作为一个综合系统，包含地学各学科所涉及的所有领域以及信息技术。对地球系统的观测为人类理解地球系统提供提供了有用的信息来源，也成为人类研究地球系统不可替代的研究途径。只有对地观测系统才能提供全球多时相的连续地球数据，这类数据可用于对地球系统作为一个整体的描述，对地观测系统包括对地观测卫星、机载遥感系统、对地观测数据接收系统等多个观测地球的平台相互配合使用，在对地观测系统中，遥感数据是最主要的数据之一，

截止2017年，1738颗卫星在轨正常运行，其中对地观测卫星596颗，2012年升空的ZY-3卫星，每天获取的数据量就在10TB以上。遥感技术和信息技术的进步使得遥感数据快速的增长，全球的遥感数据将会达到PB级别。

最近几年不同来源的遥感数据整合收到更多的关注，在过去的30年间，中国遥感卫星地面先后接收了包括Landsat，SPOT，JERS，CBERS，HJ，ZY和GF等国内外系列卫星数据，截止2013年存档各类对地观测卫星数据资料达330余万景。由于遥感数据的轨道参数、卫星重访周期、空间分辨率和传感器类型有差异，这些区别给遥感数据大数据集成造成了一些困难。此外，探索一个不同来源的高效的遥感数据管理方法可以提供高效数据服务，现有的管理存储遥感影像数据的模式有两种，文件管理和关系数据库管理方式，由于遥感影像的数据特点，大部分遥感图像处理软件都采用文件方式来管理遥感影像数据。

目前，传统的对地观测数据管理方式已经无法满足大数据环境下遥感数据整合的要求，不适用对地观测大数据特性的存储框架，存在着缺陷和限制，为了改善遥感数据的共享和互操作性，数据存储集成管理方式的创新是非常有必要的。因此，我们应该探索出一个高效数据管理组织方法，这个方法应该具有一个完整的空间元数据系统和高效的空间分布存储方法的特点。

发明内容

针对现有技术中的上述不足，本发明提供的基于分片模式的遥感数据管理方法解决了现有的对地观测大数据集成管理效率低下的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于分片模式的遥感数据管理方法，包括以下步骤：

S1、对遥感数据及其对应的遥感元数据进行预处理及数据匹配，形成若干遥感数据块；

S2、基于网络传输协议将遥感数据块上传至分布式数据中心；

S3、通过分布式数据中心的数据库服务器根据其分片对接收到的遥感数据块进行分配，并利用自动分配机制对遥感数据块进行切分保存；

S4、利用数据库服务器的管理模式将切分保存后的遥感数据块保存在不同的数据分片中，并使遥感数据块在各个数据分片中达到负载平衡，实现遥感数据管理。

进一步地，所述步骤S1中，对遥感数据进行预处理的方法具体为：

A1、基于地理编码格式的遥感元数据，对遥感数据进行多维特征描述；

A2、根据遥感数据的多维特征描述结果，描述其对应的遥感元数据的内容和结构；