[发明专利]一种空间点数据的处理方法及装置

说明书

本发明公开了一种空间点数据的处理方法及装置，用以通过静态划分网格编号的方式存储空间点的数据，从而提高数据存储效率，适用于海量数据存储。本发明提供的一种空间点数据的处理方法，包括：根据已知空间点的坐标所处的范围，确定网格范围，并根据已知空间点的数量，确定网格级别，根据所述网格范围和网格级别生成网格系统，该网格系统中包括多个网格；针对每一已知空间点的坐标，根据该已知空间点的坐标，确定在所述网格系统中该已知空间点对应的网格编号；将每一已知空间点的数据存储到在所述网格系统中对应的网格编号的网格中。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种空间点数据的处理方法及装置。

背景技术

随着人类活动能够产生和捕捉到的数据量逐年膨胀，人类进入了大数据时代。这种以包含经纬度字段为特征的坐标点数据，例如GPS数据，静态地理位置元素坐标点数据等，数据种类和量也得到了前所未有的增长。以全国的建筑物、场所等的坐标点数据为例，可能就达到数亿条。面对如此海量的数据，传统的关系型数据库，即使建立经纬度坐标的联合索引，其空间范围查询响应时间有时也会达到数十秒；而新出现的诸多NoSQL库，虽然解决了普通海量属性数据访问性能的问题，但是对于这种空间数据，由于其中对大多对SQL并不支持，如果无法正确的建立索引表，空间范围查询时，也会面临数据扫描范围过大、功能单一、无法分页等问题。

现有技术中基于Key/Value型NoSQL数据库的矢量数据先序四叉树编码和索引方法包括：涉及一种基于Key/Value型NoSQL数据库的矢量数据先序四叉树编码和索引方法，这种方法使数据物理存储次序与空间范围连续性一致、数据主键次序与物理存储次序一致，从而在空间查询时能减少I/O操作，提高查询效率。这种方法包括如下步骤：完全四叉树空间划分与先序四叉树结点编码；矢量数据前缀编码和索引构建；先序四叉树索引。

但是，现有技术利用四叉树存储点数据的方案都是一种“自上而下”的方式，即随着点数据的写入，动态的划分网格，不同的网格位于不同的级别。这样做的缺点是：

针对范围查询一次性取出全部数据的情况，难以将多次的随机读转换为少量次数的连续读，在查询范围较大时，性能会相当的低；

写入空间点数据时，由于网格动态划分的存在，会随时修改已有的数据，会导致性能较低，在分布式的情况下，还需要额外开销保证其一致性；

翻页时采取随机网格的方式，难以保证翻页的稳定性。针对每次只需要取出少量数据的情况，如果按照原有的方法对取出的数据直接进行分页，可能产生如下两个不良后果：一、假定在数据量过大的情况下，一次将数据全部取出，再在客端分页的方式，可能导致内存溢出；二、如果使用数据库的限制取出前n条数据的方式，由于数据是按照网格编号存储的，导致的结果是，当查询范围较大时，每一页取出的数据条目均是集中在一个很小范围内的点，这对于地图撒点而言是不可接受的。

综上所述，现有技术中根据空间点的数量，动态划分网格，因此导致数据存储效率较低，不适用于海量数据存储。

发明内容

本发明实施例提供了一种空间点数据的处理方法及装置，用以通过静态划分网格编号的方式存储空间点的数据，从而提高数据存储效率，适用于海量数据存储。

本发明实施例提供的一种空间点数据的处理方法，包括：

根据已知空间点的坐标所处的范围，确定网格范围，并根据已知空间点的数量，确定网格级别，根据所述网格范围和网格级别生成网格系统，该网格系统中包括多个网格；

针对每一已知空间点的坐标，根据该已知空间点的坐标，确定在所述网格系统中该已知空间点对应的网格编号；

将每一已知空间点的数据存储到在所述网格系统中对应的网格编号的网格中。