[发明专利]一种基于分片模式的遥感数据管理方法

权利要求书

1.一种基于分片模式的遥感数据管理方法，其特征在于，包括以下步骤：

S1、对遥感数据及其对应的遥感元数据进行预处理及数据匹配，形成若干遥感数据块；

S2、基于网络传输协议将遥感数据块上传至分布式数据中心；

S3、通过分布式数据中心的数据库服务器根据其分片对接收到的遥感数据块进行分配，并利用自动分配机制对遥感数据块进行切分保存；

S4、利用数据库服务器的管理模式将切分保存后的遥感数据块保存在不同的数据分片中，并使遥感数据块在各个数据分片中达到负载平衡，实现遥感数据管理。

2.根据权利要求1所述的基于分片模式的遥感数据管理方法，其特征在于，所述步骤S1中，对遥感数据进行预处理的方法具体为：

A1、基于地理编码格式的遥感元数据，对遥感数据进行多维特征描述；

A2、根据遥感数据的多维特征描述结果，描述其对应的遥感元数据的内容和结构；

A3、基于各遥感元数据的内容和结构，构建由若干个遥感元数据子集组成的元数据描述体系对遥感数据进行特征描述，实现遥感数据的预处理。

3.根据权利要求2所述的基于分片模式的遥感数据管理方法，其特征在于，所述步骤A1具体为：

基于地理编码格式的遥感元数据中的地理位置信息、波段信息、卫星重访周期和空间分辨率中的一种或多种信息作为多维特征对遥感数据进行多维特征描述；

所述步骤A2中，采用统一建模语言和数据字典相结合的方式对遥感数据对应核心元数据的内容和结构进行描述；

所述步骤A3中，通过元数据描述体系对遥感数据进行特征描述时的特征包括内容信息、数据质量信息、引用信息、标识信息、联系信息、分发信息和空间参考信息。

4.根据权利要求1所述的基于分片模式的遥感数据管理方法，其特征在于，所述步骤S3具体为：

S31、通过分布式数据中心将接收到的遥感数据块移交至数据库服务器中，并基于分片分配若干个用于存储遥感数据块的数据节点；

S32、对用于存储遥感数据块的数据节点进行节点保护，形成对应的分布式集群；

S33、将遥感数据块通过分片的方式存储在数据库服务器中的分布式集群中；

S34、将遥感数据块通过分片的方式存储在各分布式集群中，并通过自动分配机制将遥感数据块切分成小块分散保存在各数据节点中，实现遥感数据块的切分保存。

5.根据权利要求4所述的基于分片模式的遥感数据管理方法，其特征在于，所述步骤S32中，对数据节点进行节点保护时，每个分片包括至少三个数据节点，包括一个主数据节点和两个从数据节点，当主数据节点宕机后，两个从数据节点进行竞选，其中一个从数据节点变为主数据节点，当主数据节点恢复后作为从数据节点加入到对应的分布式集群中。

6.根据权利要求4所述的基于分片模式的遥感数据管理方法，其特征在于，所述步骤S4中利用数据库服务器的管理模式将切分保存后的遥感数据块保存在不同的数据分片中的方法具体为：

将遥感数据块中的遥感数据通过数据库服务器的配置服务中的元数据路由至对应的数据分片中，通过在分片服务中设置片键和数据库中的Chunk索引关系，使遥感数据以分片的形式保存在不同的数据分片中。

7.根据权利要求6所述的基于分片模式的遥感数据管理方法，其特征在于，所述分片服务为分布式集群中实际存储数据的位置；

在所述分片服务中，根据设置的不同片键，将遥感数据块分为若干个Chunk，并按照设置的片键类型将遥感数据以不同的逻辑保存在不同的数据分片中。

8.根据权利要求6所述的基于分片模式的遥感数据管理方法，其特征在于，所述步骤S4中，通过设置平衡进程使遥感数据块在各个数据分片中达到负载平衡；

所述平衡进程自动巡查所有数据分片上Chunk的分布情况，当数据分片上的Chunk数量达到设定的迁移阈值时，通过平衡进程在各数据分片之间自动迁移Chunk，使每个数据分片中的Chunk数量相同，进而使遥感数据在各个数据分片中达到负载平衡。

9.根据权利要求8所述的基于分片模式的遥感数据管理方法，其特征在于，在所述平衡进程中，当数据分片中的Chunk大小超过了配置限制时，将其平均分为两个大小相同的新的Chunk。