[发明专利]一种非规则格网数据的快速存储与查询方法

说明书

本发明公开了一种非规则格网数据的快速存储与查询方法，该方法包括以下步骤：1）格网大数据分布式存储步骤；2）非规则格网数据加载步骤；3）非规则格网数据查询步骤；4）格网数据的拼接步骤；5）数据导出步骤。本发明通过分布式的存储方式提高了数据查询的效率，在本发明方法的基础上可实现对格网大数据的方便有效管理。

技术领域

本发明涉及数据存储技术，尤其涉及一种非规则格网数据的快速存储与查询方法。

背景技术

在地球信息科学技术中，地球探测数据一般以格网形式的文件进行存储。由于文件很大，用户通常难以进行查询和提取。而应用传统的数据库(特别是关系数据库)技术进行管理又不可避免的陷入大表问题，即随着数据量的不断增长数据越来越难以管理。在地球物理探测数据中，常会使用非规则格网数据。即格网的单元大小不一致，因此难以使用类似grd的标准格网文件格式进行存储，只能使用(x-y-z-data)的形式一行行的将数据记录下来。此外，对于三维非规则格网，数据的记录顺序也比较灵活，有些采用沿Z方向的XY平面逐层记录；有些采用沿Y方向的XZ剖面逐层记录。如何存储和管理非规则格网数据是一个亟待解决的难题。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种非规则格网数据的快速存储与查询方法。

本发明解决其技术问题所采用的技术方案是：一种非规则格网数据的快速存储与查询方法，包括以下步骤：

1)格网大数据分布式存储步骤

1.1)将格网数据分离为格网元数据与格网属性数据；

非规则格网元数据内容包括：[格网ID、格网范围、XYZ方向坐标序列、数据加载顺序标识]；

其中，

格网ID由格网产生时间及其类型编码生成，XYZ方向坐标序列记录了格网在X,Y,Z方向上的投影坐标；

格网属性数据内容包括：[数据ID、数据值单位描述、属性值]；

其中，

数据ID由格网ID值与数据在格网中的加载顺序/索引组合而成；

1.2)对分离后的格网数据分布式存储；

2)非规则格网数据加载步骤

2.1)根据数据加载顺序标识对非规则格网数据进行预读取，判断出非规则格网数据的加载顺序；

2.2)检测相邻两行格网数据记录的x、y、z分量，记录发生变化的位置分量和对应的分量坐标序列；

2.3)遍历所有数据，完成数据的加载，并得到整个非规则格网的范围；

3)非规则格网数据查询步骤；

3.1)获取用户在屏幕视图坐标系中需查询数据的XY坐标；

3.2)根据该非规则格网的XY坐标序列换算成正常加载情况下(x-y-z顺序)的待查询数据在格网中的索引值；

3.3)根据非规则格网数据自身的加载顺序来换算成真实的数据索引值：

若加载顺序为x_y_z，真实的数据索引值为i；

若加载顺序为x_z_y，真实的数据索引值为(((i％(xSize*ySize))/xSize)*(xSize*zSize)+(i/(xSize*ySize))*xSize+i％xSize；

若加载顺序为y_x_z，真实的数据索引值为(i％xSize)*(ySize*xSize)+(i/(ySize*xSize))*ySize+(i％(ySize*xSize))/xSize；