[发明专利]一种海量时空数据的高效组织与管理方法

摘要

本发明公开了一种海量时空数据的高效组织与管理方法，方法的整体步骤如下：步骤一、数据上传；步骤二、数据处理；步骤三、数据存储；步骤四、空间数据动态分块：a、构建矢量数据Key‑Value数据模型；b、HDFS矢量数据分块存储。本发明针对大并发访问中的信息访问安全、高并发访问、多源异构时空信息数据融合存储更新等问题，开展基于云架构下的解决方案研究，实现海量多源异构数据的有效集成管理，提高分布式环境下空间数据的分发、访问及操作性能，同时，研究GIS数据分布式动态分块技术，优化GIS服务引擎的分发效率，满足智慧城市地理空间数据高效的存储管理与共享分发。

主权项

1.一种海量时空数据的高效组织与管理方法，其特征在于：所述方法的步骤如下：步骤一、数据上传：采用服务中心的方式对数据进行存储管理，数据中心通过统一的数据导入接口对数据进行上传；在数据上传的时候，先计算数据的哈希值，将计算出的哈希值与数据中心中的哈希值进行对比，通过哈希值判定数据是否存在，从而使服务中心获取数据；步骤二、数据处理：服务中心在获取使用者上传的数据后，提取数据的元信息；在元信息形成后，再对空间型数据进行深化处理，提取空间数据信息；将提取的元信息通过关系或者非关系数据库进行存储，用来进行数据的统一检索、过滤；步骤三、数据存储：采用MongoDB非关系数据库存储海量数据，当用户在MongoDB中导入相关数据时，MongoDB集群对单个分片上的数据是否超过预设值进行判断，若是超出存储限值，便会自行启动分片机制，对集合进行分块，然后分别派送至不同的分片上，在这一过程中，集群各分片上的MetaDate信息存储全都存储在Config Server服务器上；步骤四、空间数据动态分块：a、构建矢量数据Key‑Value数据模型：假定空间数据集D包含多个空间对象实体，利用GeoJSON格式描述矢量空间数据几何实体，形成矢量数据文件格式；同时，每个空间对象实体记录都以文本文件的方式保存为一行，利用Hadoop平台提供的基于文本行的文件操作函数，实现每个空间对象实体记录的读取和写入；b、HDFS矢量数据分块存储：将利用矢量数据Key‑Value数据模型创建的空间对象实体记录文本及元数据文件上传到HDFS文件系统，HDFS将其进行自动切割，分成大量小的数据块，缺省为64MB，分别存储到不同的节点上。