[发明专利]一种面向分布式环境的空间数据复合处理系统和方法

说明书

技术领域

本发明涉及一种面向分布式环境的空间数据复合处理系统和方法，属于信息技术处理领域。

背景技术

空间数据通常用于描述多维空间内的对象物体。相较于一般关系数据库数据，空间数据具有数据量大、计算复杂度高的特点。空间数据的处理多在特定的空间数据库中完成，而不被一般关系数据库系统所支持。在基于MapReduce并行处理模式的并行处理平台Hadoop中，更是没有实现支持空间数据处理的数据类型和特定算法。而为了实现这种支持，则需要对Hadoop系统在代码级别上进行修改，复杂度高，支持的数据类型有限，且处理效率随模型设计与具体实现水平的不同而参差不齐。

这种实现周期长且处理效率的不一致构成了面向分布式环境的空间数据处理系统的一个技术难点。

目前面向分布式环境的空间数据处理系统的主要实现方法有：Ahmed Eldawy 和 Mohamed F. Mokbel提出了基于Hadoop平台的空间数据处理系统SpatialHadoop，阐述了利用已有的Hadoop系统，在代码级别上加入对于空间数据类型（点、折线、矩阵与多边形）的支持，以及多种空间数据算法（如窗口查询，k近邻查询等）。空间数据以文本形式通过HDFS进行远程存取与分配，并通过嵌入式空间分配模块的方式，实现空间数据的预分配，达到提高查询效率的目的（Eldawy, A. & Mokbel, M. F. A Demonstration of SpatialHadoop: An Efficient MapReduce Framework for Spatial Data Proc. VLDB Endowment, 2013, 6）。Ablimit Aji和Fusheng Wang等提出了利用Hadoop平台的streaming功能与本地空间数据处理引擎RESQUE进行结合。空间数据也采用文件形式通过HDFS进行远程存取与分配，具体处理则交由分布于各集群计算机中的RESQUE系统。RESQUE中加入了对于若干空间数据类型与处理算法的支持（Aji, A.; Wang, F.; Vo, H.; Lee, R.; Liu, Q.; Zhang, X. & Saltz, J. Hadoop GIS: A High Performance Spatial Data Warehousing System Over Mapreduce Proceedings of the VLDB Endowment, VLDB Endowment, 2013, 6, 1009-1020）。

 

目前，涉及到面向分布式环境的空间数据处理方法时，均需通过HDFS系统对数据进行文本形式的远程存取，数据种类单一，处理效率也没有严格的质量保证。

发明内容

本发明所要解决的技术问题是针对上述背景技术的不足，提供了一种面向分布式环境的空间数据复合处理系统和方法。通过分布式块文件系统BDFS对空间数据数据进行矩阵化划分与集中式存取，结合MapReduce模式的不同处理阶段，有效降低网络数据传输代价。在与现有的空间数据库系统进行有机结合后，不仅可以对任意子数据库所支持的数据类型进行处理，又可以直接利用子数据库中已存在的特定算法，保证了数据查询的效率与质量。

本发明为实现上述发明目的采用如下技术方案：

一种面向分布式环境的空间数据复合处理系统，包括主计算机及其主空间数据库MSDB（Master Spatial Database）模块、子计算机及其子空间数据库SSDB（Slave Spatial Database）模块、Hadoop并行处理平台模块、分布式块文件系统BDFS（Block-based Distribute File System），在基于Hadoop平行处理平台上进行部署而形成的计算机网络集群，其中，主空间数据库模块以及子空间数据库模块通过分布式块文件系统交互，同时在客户端提供交互式文字和图形界面，用于添加、删除、更新与查询各类空间数据；所述的子空间数据库模块处理本地接收到的各类局部空间查询任务，负责从BDFS中读取所需要的数据信息，并添加新的数据以返回结果；数据在系统中以类型和数据块文件的形式分布保存在BDFS中，类型文件以文本形式描述空间数据概要，数据块文件以二进制形式保存数据的具体信息。

一种面向分布式环境的空间数据复合处理的方法，包括：

步骤1，从主数据库中读取数据，并分布保存在BDFS中，方法如下：