[发明专利]一种面向空间数据连接操作的分布式数据存取方法

摘要

本发明涉及一种面向空间数据连接操作的分布式数据存取方法，属于信息技术处理领域。本方法公开了空间数据的分离存取方法，将空间数据连接操作的不同阶段过滤与精化，与分布式计算过程MapReduce进行有机结合。本发明不仅明确了MapReduce框架内空间数据连接操作的基本过程，同时提出了通用的针对空间数据操作的远程有效数据存取过程，筛选并远程存取操作相关数据，达到降低网络传输代价的目的。

主权项

一种面向分布式空间数据连接操作的数据存取方法，其特征在于包括如下步骤:步骤1，对给定的分布式空间数据样本进行抽样，进而制定出多维空间内的细粒度网格结构，方法如下:步骤1‑1，对于分布在子数据库内，以两个关系数据表形式所存储的空间数据进行样本抽取；步骤1‑2，计算样本空间数据的最小外包框，从而获取本地数据的分布范围和样本尺寸均值，并提交至主数据库内；步骤1‑3，在主数据库内，计算整体空间数据的基本分布范围以及样本尺寸均值，进而制定出全局网格，并使任一网格单元可以覆盖若干个空间数据对象；步骤1‑4，对网格单元从左至右，从下而上进行编号，起始号码为1；网格外区域统一编号为0；步骤2，在MapReduce并行处理模式的Map阶段，将所有子数据库将包含的空间数据对象划分入步骤1所产生的全局网格, 具体包括如下步骤:步骤2‑1，计算两个关系数据表内每个空间数据对象的最小外包框，进而得到它所覆盖的网格单元的编号值；步骤2‑2，若对象的最小外包框覆盖了多个单元格，则对对象进行复制；步骤2‑3，根据执行所需Reduce任务的数量，将网格单元以及其内所包含的空间数据对象进行聚类；使得每个Reduce任务可以读取并处理一部分数据；每部分的数据与其它部分不存在依赖关系，从而可以使得所有Reduce任务进行同步处理；步骤3，对每一部分的空间数据对象进行区别存储，将数据元组信息与对象形状信息（称为LOB数据）分别存储在不同的文件内，前者形成数据元组文件，后者形成LOB文件；步骤4，利用MapReduce处理平台，对步骤3中所产生的数据元组文件，按照所包含对象的网格编号进行Shuffle，确保所以分配入相同网格单元部分的数据对象，均被划分入同一Reduce任务进行处理；步骤5，针对相同部分的空间数据对象，进行空间数据连接操作的过滤处理，具体步骤如下：步骤5‑1，按照连接操作的输入来源，得到每一个空间连接对象二元组；步骤5‑2，若两个对象的最小外包框重叠，则被视为候选对象并予以保留，否则弃置；步骤6，对于步骤5中所产生的空间连接候选集，远程读取涉及空间对象的LOB数据，进而对每一候选对象二元组进行精化操作，以确定两者是否存在空间连接关系。