[发明专利]一种森林资源空间数据的分布式管理方法有效
申请号: | 201711486203.6 | 申请日: | 2017-12-29 |
公开(公告)号: | CN108268614B | 公开(公告)日: | 2020-08-18 |
发明(设计)人: | 殷君茹;王华;孟颍辉;黄伟;朱付保 | 申请(专利权)人: | 郑州轻工业学院 |
主分类号: | G06F16/182 | 分类号: | G06F16/182;G06F16/13;G06F16/11 |
代理公司: | 深圳市威世博知识产权代理事务所(普通合伙) 44280 | 代理人: | 李庆波 |
地址: | 450000 *** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 森林资源 空间 数据 分布式 管理 方法 | ||
1.一种森林资源空间数据的分布式管理方法,其特征在于,
构建集群系统,基于网络互联的计算机构建数据集群系统,所述数据集群系统包括主节点计算机和多个从节点计算机,所述主节点计算机和从节点计算机基于Hadoop进行数据管理;
数据转换,将多种数据类型的原有森林资源空间数据统一转化为JSON数据格式,然后再转换输出为HDFS文件格式的分布式森林资源空间数据;所述原有森林资源空间数据的类型包括森林资源调查数据、概要统计数据和林地落界数据;所述林地落界数据包含县、省、国家级各级尺度或不同比例尺数据,又通过对不同种类、内容、来源和用户的业务数据的转化、提取和挖掘,准确反映林地资源业务数据之间的关联关系;数据类型包括面状矢量数据,既包括反映森林资源现状和变化的属性信息,也包括反映空间特征的信息;森林资源空间数据的数据类型包括结构化数据和非结构化数据;
基于Hive软件使用SerDes将结构化和非结构化的森林资源空间数据转换为JSON数据格式,进一步建立数据表,该数据表把JSON数据格式的森林资源空间数据的名称和地理信息映射为该数据表中的列名和边界形状,得到HDFS文件格式的数据表;
数据存储,将所述HDFS文件在所述主节点计算机和从节点计算机上进行分布式存储;
建立索引,在所述主节点计算机上建立全局索引,以及在所述从节点计算机上建立本地索引;
统计调用,建立多种统计函数,调用所述统计函数,实现对分布式森林资源空间数据的统计分析。
2.根据权利要求1所述的森林资源空间数据的分布式管理方法,其特征在于,所述主节点计算机和所述从节点计算机之间,以及多个所述从节点计算机之间无密码验证登录。
3.根据权利要求2所述的森林资源空间数据的分布式管理方法,其特征在于,所述HDFS文件以大小相等的数据块进行存储。
4.根据权利要求3所述的森林资源空间数据的分布式管理方法,其特征在于,所述数据块的大小为128Mbit。
5.根据权利要求1所述的森林资源空间数据的分布式管理方法,其特征在于,在所述数据转换中,还包括对原有的森林资源空间数据库迁移到所述数据集群系统。
6.根据权利要求1所述的森林资源空间数据的分布式管理方法,其特征在于,在所述建立索引中,还包括在在建立本地索引和全局索引之前先建立分区。
7.根据权利要求6所述的森林资源空间数据的分布式管理方法,其特征在于,在所述建立分区中,包括计算分区数、确定分区边界和物理分区。
8.根据权利要求7所述的森林资源空间数据的分布式管理方法,其特征在于,在所述建立分区中,包括步骤:建立统计函数、根据业务需求编写HQL语句、把结果存入新建表格以及将统计结果可视化显示。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于郑州轻工业学院,未经郑州轻工业学院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711486203.6/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置