[发明专利]一种基于Hadoop的海量矢量数据划分方法及系统有效
| 申请号： | 201610377710.5 | 申请日： | 2016-05-31 |
| 公开（公告）号： | CN106021567B | 公开（公告）日： | 2019-09-24 |
| 发明（设计）人： | 李林;姚晓闯;朱德海;郧文聚;杨建宇;叶思菁;赵祖亮 | 申请（专利权）人： | 中国农业大学 |
| 主分类号： | G06F16/182 | 分类号： | G06F16/182 |
| 代理公司： | 北京路浩知识产权代理有限公司 11002 | 代理人： | 李相雨 |
| 地址： | 100193 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种基于Hadoop的海量矢量数据划分方法及系统。该方法包括：基于Hilbert空间填充曲线对空间数据集中的空间要素进行空间编码；通过Map函数和Reduce函数实现空间要素的键值化，并生成空间数据样本信息集；根据所述空间数据样本信息集生成空间数据划分矩阵；根据所述空间数据划分矩阵将各个空间要素划分入对应的存储数据块中，同时将相邻数据块分发至同一集群节点上。本发明系统将Hilbert空间填充曲线引入到数据抽样和划分规则中，充分考虑空间数据相邻对象的空间位置关系、空间对象的自身大小以及相同编码块的空间对象个数等影响要素，不仅保证了样本信息集的空间分布特征，提高了海量矢量数据的空间索引效率；同时也保证了基于HDFS数据块存储的负载均衡。 | ||
| 搜索关键词： | 一种 基于 hadoop 海量 矢量 数据 划分 方法 系统 | ||
【主权项】：
1.一种基于Hadoop的海量矢量数据划分方法，其特征在于，包括：基于Hilbert空间填充曲线对空间数据集中的空间要素进行空间编码；通过Map函数和Reduce函数实现空间要素的键值化，并生成空间数据样本信息集；根据所述空间数据样本信息集生成空间数据划分矩阵；根据所述空间数据划分矩阵将各个空间要素划分入对应的存储数据块中，同时将相邻数据块分发至同一集群节点上；所述通过Map函数和Reduce函数实现空间要素的键值化，并生成空间数据样本信息集包括：通过Map函数实现各个空间要素的键值化，获取各个空间要素对应的数据量大小和空间位置信息；通过Reduce函数生成空间数据样本信息集，其内容包括编码块对应的空间编码、编码块大小和二级划分样本集合。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国农业大学，未经中国农业大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610377710.5/，转载请声明来源钻瓜专利网。
- 上一篇：双面连接器
- 下一篇：全电压验电型高压接地线
