[发明专利]一种森林资源空间数据的分布式管理方法

说明书

本发明公开了一种森林资源空间数据的分布式管理方法，属于大数据计算领域，该方法包括步骤构建集群系统、数据转换、数据存储、建立索引和统计调用。通过该方法能够把多种类型的森林资源空间数据统一转化为适用于Hadoop集群系统的HDFS文件进行存储，并通过hive、spatialHadoop等软件工具实现对森林资源空间数据的高效统计，具有兼容性强、效率高以及技术开发成本低等优势。

技术领域

本发明涉及大数据计算领域，尤其涉及一种森林资源空间数据的分布式管理方法。

背景技术

森林资源空间数据是指森林资源信息与地理空间信息相结合的一种数据，具有数据量大、信息内容多等特点。特别是近些年，随着我国北斗定位系统在林业的广泛应用，森林资源空间数据的类型不断涌现，除了已有的结构化数据外，还有非结构化数据出现。

当把这些数据量庞大的、类型差异化的森林资源空间数据进行统一存储管理时，就需要为这些数据提供有效的处理方法，以保证对不同结构类型的数据进行统一化的处理，同时也能够适应海量数据的网络化存储和调用需求，能够高效快捷的存储、调用、查询这些森林资源空间数据。

为此，本发明提供用以解决上述问题的一种森林资源空间数据的分布式管理方法。

发明内容

本发明主要解决的技术问题是提供一种森林资源空间数据的分布式管理方法，解决现有技术中因森林资源空间数据结构多样化而导致的难以统一进行存储和使用的问题。

为解决上述技术问题，本发明采用的一种技术方案是提供一种森林资源空间数据的分布式管理方法，包括：构建集群系统，基于网络互联的计算机构建数据集群系统，所述数据集群系统包括主节点计算机和多个从节点计算机，所述主节点计算机和从节点计算机基于Hadoop进行数据管理；数据转换，在主节点计算机中将多种数据类型的原有森林资源空间数据统一转化为JSON数据格式，然后再转换输出为HDFS文件格式的分布式森林资源空间数据；数据存储，将所述HDFS文件在所述主节点计算机和从节点计算机上进行分布式存储；建立索引，在所述主节点计算机上建立全局索引，以及在所述从节点计算机上建立本地索引；统计调用，建立多种统计函数，调用所述统计函数，实现对分布式森林资源空间数据的统计分析。

在本发明森林资源空间数据的分布式管理方法另一实施例中，所述主节点计算机和所述从节点计算机之间，以及多个所述从节点计算机之间无密码验证登录。

在本发明森林资源空间数据的分布式管理方法另一实施例中，在所述数据转换中先把所述森林资源空间数据转换为JSON数据格式，再利用Hive软件建立数据表，然后把所述JSON数据格式的森林资源空间数据加载到所述数据表中，得到所述HDFS文件格式的数据表。

在本发明森林资源空间数据的分布式管理方法另一实施例中，所述原有森林资源空间数据的类型包括森林资源调查数据、概要统计数据和林地落界数据。

在本发明森林资源空间数据的分布式管理方法另一实施例中，所述HDFS文件以大小相等的数据块进行存储。

在本发明森林资源空间数据的分布式管理方法另一实施例中，所述数据块的大小为128Mbit。

在本发明森林资源空间数据的分布式管理方法另一实施例中，在所述数据转换中，还包括对原有的森林资源空间数据库迁移到所述数据集群系统。

在本发明森林资源空间数据的分布式管理方法另一实施例中，在所述建立索引中，还包括在在建立本地索引和全局索引之前先建立分区。

在本发明森林资源空间数据的分布式管理方法另一实施例中，在所述建立分区中，包括计算分区数、确定分区边界和物理分区。

在本发明森林资源空间数据的分布式管理方法另一实施例中，在所述建立分区中，包括步骤：建立统计函数、根据业务需求编写HQL语句、把结果存入新建表格以及将统计结果可视化显示。