[发明专利]基于分布式hbase存储的海量遥感数据组织管理方法及系统有效
申请号: | 202010330184.3 | 申请日: | 2020-04-24 |
公开(公告)号: | CN111552753B | 公开(公告)日: | 2020-12-29 |
发明(设计)人: | 付琨;许光銮;孙显;李以福;陈佳良;张义;韩记伟;宋晶晶 | 申请(专利权)人: | 中国科学院空天信息创新研究院 |
主分类号: | G06F16/29 | 分类号: | G06F16/29;G06F16/22;G06F16/2455 |
代理公司: | 北京安博达知识产权代理有限公司 11271 | 代理人: | 徐国文 |
地址: | 100190 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 分布式 hbase 存储 海量 遥感 数据 组织 管理 方法 系统 | ||
1.基于分布式hbase存储的海量遥感数据组织管理方法,其特征在于,包括:
将遥感影像数据进行瓦片处理,得到各瓦片的信息;
基于所述各瓦片的信息,利用hbase的rowkey技术进行存储;
当需要查询时,利用rowkey从所述hbase中查询对应的瓦片;
其中,瓦片的信息包括:所属的层级信息,时相信息,瓦片数据类型和经纬度范围;
所述将遥感影像数据进行瓦片处理,得到各瓦片的信息,包括:
获取遥感影像数据的分辨率、经纬度信息,计算所述遥感影像包含瓦片所在层级以及瓦片的列范围和行范围;
基于所述瓦片的列范围从遥感影像数据中切出对应的瓦片;
所述瓦片的范围包括:瓦片的最小列号、瓦片的最大列号以及瓦片的最小行号和瓦片的最大行号;
所述基于各瓦片的信息,利用hbase的rowkey技术进行存储,包括:
基于各瓦片所在层、行、列信息生成hbase的rowkey索引,并根据rowkey索引将所述瓦片的信息存入hbase数据库中;
所述基于各瓦片所在层、行、列信息生成hbase的rowkey索引,包括:
基于所述瓦片所在的层级计算当前层级的瓦片总数;
基于所述当前层级的瓦片总数、所述瓦片所在行和列,以及预设的瓦片缩放级别计算所述瓦片在hbase中的分区;
基于所述瓦片在hbase中的分区确定所述分区所在的服务器,并将所述瓦片信息存储在所述服务器的内存中;
基于所述瓦片所在层级计算当前瓦片所在层级前的所有层的行数和,以及列数和;
基于所述瓦片在hbase中的分区、瓦片类型、以及当前瓦片所在层级前的所有层的行数和,以及列数和计算hbase中的rowkey;
基于计算的hbase中的rowkey确定所述rowkey对应的瓦片保存到所述分区所在的regionserver进行通讯,将所述瓦片及所述瓦片信息存储在所述regionserver的内存中。
2.如权利要求1所述的组织管理方法,其特征在于,所述遥感影像包含瓦片所在层级按下式计算:
2level=180.0/256/length
式中,level:瓦片所在层级;length:分辨率长像素。
3.如权利要求2所述的组织管理方法,其特征在于,所述瓦片的最小列号按下式计算:
minCol=(2level*(minLon+180))/180
式中,minLon:遥感影像的最小经度;minCol:遥感影像所包含瓦片的最小列号;
所述瓦片的最大列号按下式计算:
maxCol=((2level*(maxLon+180))/180))-1
式中,maxCol:瓦片的最大列号;maxLon:遥感影像的最大经度;
所述瓦片的最小行号按下式计算:
minRow=(2level*(90-maxLat))/180
式中,minRow:瓦片的最小行号;maxLat:遥感影像的最大纬度;
所述瓦片的最大行号按下式计算:
maxRow=((2level*(90-minLat))/180))-1
式中,maxRow:瓦片的最大行号;minLat:遥感影像的最小纬度。
4.如权利要求1所述的组织管理方法,其特征在于,所述瓦片总数按下式计算:
Total=2(2*Level+1)
式中,Level:瓦片所在层级;Total:瓦片所在层级中瓦片的总数。
5.如权利要求4所述的组织管理方法,其特征在于,所述hbase中的分区按下式计算:
Region=Y*C/2K+X/2(K+1)
式中,Region为,Y为瓦片所在行数;X为瓦片所在列数;K=Level-N,C=2N。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院空天信息创新研究院,未经中国科学院空天信息创新研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010330184.3/1.html,转载请声明来源钻瓜专利网。