[发明专利]在线即分析影像与格网立方体数据存储管理方法及系统

说明书

本发明涉及一种在线即分析影像与格网立方体数据存储管理方法及系统。该方法包括：将影像与格网立方体以多种瓦片分割方案存储，每种存储方案对应一个配置，通过匹配规则比较每种配置的I/O数及数据大小，获得顾及数据量条件下的I/O最少的瓦片分割存储方案，访问相应瓦片分割存储方案的目标数据块，以提升立方体在线即分析性能。本发明提供的基于MongoDB的立方体数据存储方法提高了在线即分析应用条件下立方体目标数据块的访问效率，减少了无效数据块的传输及相应算力的消耗，提升在线即分析应用性能。

技术领域

本发明属于大数据技术领域，具体涉及一种在线即分析影像与格网立方体数据存储管理方法及系统。

背景技术

当今已进入大数据时代，特别是对地观测应用不断发展，对多维格网的在线即分析应用提出了新的需求，多维格网数据量随维度增加数据量呈几何增长，在线即分析应用往往仅需要部分数据，传统影像与格网的全量数据访问方式，浪费带宽，无法满足在线即分析应用的性能需求。随着NoSQL数据库的不断发展和成熟，可以较好地解决海量存储和在线即分析方面的应用需求。NoSQL数据库MongoDB的一个重要的特色在于提供了GridFS用于存储大小超过 16MB 的文件，默认使用fs.chunks和fs.files来存储文件，其中fs.files集合存放文件的信息，fs.chunks存放文件的数据。GridFS已有不少学者已将GridFS应用于影像与格网数据存储，如将遥感影像数据文件存储到GridFS中，并利用其分布式机制以提升数据访问性能。相比较单个二维影像数据的分割存储，影像与格网立方体的数据量比二维影像数据多一个数量级，其在线即分析应用亦对现有Gridfs存储方案提出新的需求，即数据应以立方体瓦片进行分割，按在线即分析应用需求，支持选取最适宜的分割存储方案，访问所需立方体瓦片，以防止在线即分过程中的带宽及算力的消耗。

传统MongoDB的影像存储方法是将遥感影像数据的元数据放到文件存储到GridFS的fs.files中，fs.chunks存放影像的二进制文件，再指定片键进行分片，以支持分布式存储，并支持对数据库进行横向扩展，适合管理大规模遥感影像数据，在进行立方体在线即分析时需要先检索相关二维影像，在获取所需影像齐全后进行切割重构，如果相关影像缺失或分辨率等参数不一致，还需在重构过程中进行干预，不确定性大，且性能不高。

单一的立方体瓦片分割存储方案，具有固定的瓦片数据大小、轴序列、瓦片尺寸参数，当分割的瓦片与立方体请求索引范围契合度较高时，即目标数据块索引的集合刚好比请求索引范围大一些，这时候数据块的I/O和数据量都相对少，可以大幅减少无效数据块的传输及相应算力的消耗，提升在线即分析应用性能。然而，影像与格网立方体数据在线即分析应用过程中的客户端请求索引范围是不可预测的，因此需要多种分割存储方案，并根据相应的请求寻找最适合的分割存储方案，再获取相应目标数据块索引，完成在线即分析应用，以大幅减少无效数据块的传输及相应算力的消耗，提升在线即分析应用性能。

发明内容

本发明的目的在于解决上述问题，提供一种的在线即分析影像与格网立方体数据存储管理方法及系统。

为实现上述目的，本发明的技术方案是：一种在线即分析影像与格网立方体数据存储管理方法，包括：将影像与格网立方体以多种瓦片分割方案存储，每种存储方案对应一个配置，通过匹配规则比较每种配置的I/O数及数据大小，获得顾及数据量条件下的I/O最少的瓦片分割存储方案，再获取相应瓦片分割存储方案的目标数据块索引，完成相应瓦片分割存储方案的目标数据块访问。具体地：将影像与格网立方体以多种瓦片分割方案存储，设置基于MongoDB的瓦片分割存储方案的配置，每种存储方案对应一个配置，包括瓦片大小、轴序列、瓦片尺寸参数；设置在线即分析应用中立方体的目标数据块访问的匹配规则，用于比较每种方案配置的I/O数及数据量，并获得顾及请求数据量及其系数条件下I/O最少的瓦片分割存储方案；获得在线即分析应用中立方体请求索引范围，根据匹配规则，以确定顾及请求数据量及其系数条件下I/O数最少的瓦片分割存储方案，再获取目标数据块索引，完成相应瓦片分割存储方案的目标数据块访问。