[发明专利]一种矢量要素并行计算方法、装置、存储介质及终端

说明书

本发明公开了一种矢量要素并行计算方法、装置、存储介质及终端，该方法包括：根据Spark计算框架构建分布式要素数据集模型；根据分布式要素数据集模型对外部数据进行数据读取；根据读取后的数据进行数据重分区；将四叉树索引和二叉树索引结合对重分区后的数据创建本地空间索引；对创建本地空间索引后的数据进行数据处理和分析。通过实施本发明，基于四叉树索引和二叉树索引结合使用的方式，为重分区后的数据创建本地空间索引，采用此种方式构建的复合空间索引能够极大的提高空间数据的叠加分析效率，解决了现有技术采用传统矢量要素分析方法处理海量矢量要素时效率较低的技术问题。

技术领域

本发明涉及矢量要素查询分析技术领域，具体涉及一种矢量要素并行计算方法、装置、存储介质及终端。

背景技术

随着矢量空间数据获取与处理技术的迅猛发展，矢量空间数据日益增多，原始地图数据量呈现爆炸式增长，对地图数据处理的空间及时间效率提出了更高需求。而地理信息系统(GIS，Geographic Information System)中的矢量数据的分析一般不存在模式化的处理方法，而表现为分析方法的多样性和复杂性。目前，常见的矢量要素分析法包括：包含分析、矢量数据的缓冲区分析、多边形重叠分析、矢量数据的网分析等等。

然而，传统的矢量要素分析方法虽然能够很好地查询矢量要素，但当数据量过大时，单要素的数据划分算法很容易成为限制瓶颈，同时，在存储节点上，数据仍然以整体数据块存在，随着数据量的增加，数据的检索效率将大大降低。由于Hadoop/HBase/Spark等大数据处理技术本身缺少对地理空间数据的处理能力，无法利用现有Spark框架对矢量要素进行查询分析，矢量要素的运算模型和高效查询能力相关技术成为迫切需要。

发明内容

有鉴于此，本发明实施例提供了一种矢量要素并行计算方法、装置、存储介质及终端，以解决现有技术采用传统矢量要素分析方法处理海量矢量要素时效率较低的技术问题。

本发明提出的技术方案如下：

本发明实施例第一方面提供一种矢量要素并行计算方法，该方法包括：根据Spark计算框架构建分布式要素数据集模型；根据所述分布式要素数据集模型对外部数据进行数据读取；根据读取后的数据进行数据重分区；将四叉树索引和二叉树索引结合对重分区后的数据创建本地空间索引；对创建本地空间索引后的数据进行数据处理和分析。

进一步地，所述分布式要素数据集模型包括：特征要素和分布式数据集元信息。

进一步地，所述外部数据的数据类型包括：JSON、CSV、Shapefile、HDFS、Elasticsearch、AVRO以及关系型空间数据库。

进一步地，根据读取后的数据进行数据重分区，包括：根据分区索引工具对读取后的数据进行重分区，所述索引工具包括HILBERT时空填充曲线索引、QuadTree四叉树索引和RTree二叉树索引。

进一步地，将四叉树索引和二叉树索引结合对重分区后的数据创建本地空间索引，包括：根据四叉树索引按照一定规则将重分区后的数据划分成多个子空间；根据二叉树索引在子空间中创建本地空间索引。

进一步地，对创建本地空间索引后的数据进行数据处理和分析，包括：对创建本地空间索引后的数据进行过滤、获取地理和时间范围、裁剪、空间查询、属性汇总、网格聚合、多边形聚合、提取列、追加列计算。

本发明实施例第二方面提供一种矢量要素并行计算装置，该装置包括：模型构建模块，用于根据Spark计算框架构建分布式要素数据集模型；数据读取模块，用于根据所述分布式要素数据集模型对外部数据进行数据读取；分区模块，用于根据读取后的数据进行数据重分区；本地索引创建模块，用于将四叉树索引和二叉树索引结合对重分区后的数据创建本地空间索引；分析模块，用于对创建本地空间索引后的数据进行数据处理和分析。