[发明专利]基于HBase的互联网手机云相册备份查询方法及系统在审
申请号: | 201810423732.X | 申请日: | 2018-05-06 |
公开(公告)号: | CN108647290A | 公开(公告)日: | 2018-10-12 |
发明(设计)人: | 鹿鹏;龙刚;林宋伟;刘湘;魏国 | 申请(专利权)人: | 深圳市保千里电子有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06F11/14 |
代理公司: | 北京科亿知识产权代理事务所(普通合伙) 11350 | 代理人: | 汤东凤 |
地址: | 518000 广东省深圳市龙华区观澜街道观光路*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 互联网手机 备份 相册 吞吐量 查询方法及系统 分布式集群系统 海量数据查询 海量数据 生成文件 图片数据 用户上传 用户终端 省略 删除 检索 扫描 协同 查询 输出 响应 | ||
本发明公开了一种基于HBase的互联网手机云相册备份查询方法,包括如下具体操作步骤:S1:用户上传照片,生成文件MD5值;S2:检索照片,并用户终端输出已经按时间排好序的图片数据;S3:删除照片。本发明中Hbase本身是一套分布式集群系统,海量数据可以分布到各个不同的节点,实现协同工作,达到加大吞吐量效果,通过Hbase rowKey的设计,省略了全表扫描的问题,解决传统海量数据查询慢的事实,加大了系统的吞吐量,提高了响应速度。
技术领域
本发明属于太阳能电池装置技术领域,具体涉及一种基于HBase的互联网手机云相册备份查询方法,同时,本发明还公开了一种基于HBase的互联网手机云相册备份查询系统。
背景技术
在互联网手机时代,手机联网已经是常态,手机拍照的频率相当高,统计发现一年下来手机拍照少则100张左右,多则上达10000以上。然而,手机用户常常觉得自己拍的照片放在本地手机存储不安全,可能有丢失、误删的危险。那么,云端存储照片的需求就孕育而生,也是必须的。在现实生活中,用户照片资源的数量是海量的,更无法统计的,尤其是有的用户会保存好几年的相片。加大了云端对海量照片的存储、检索查询的难度,造成了相当大空间浪费。我们假设一个云端平台有100万用户(大的平台不仅仅这些),每个用户一年需要备份暂时有2000张照片到云端,每个人保存3年,那么整个云端平台记录总数为1000000*2000*3条,即60亿条,使用传统的关系型数据库已经无法应付,特别对于关系型数据库的检索、排序。当今数据的存储主要用到关系型数据库。应对海量数据,只能进行分表分库存储,然后再处理端要加一层额外的处理哪个用户对应哪个库,哪个表进行存储、查询。
以上技术实现缺点有:
1.加大了处理端的开发复杂度;2.极大的浪费数据库服务器资源;3.拓展性不好;4.查询响应速度不够快。基于此,现提供基于HBase的方法,以解决上述海量互联网云相册备份查询的问题
发明内容
本发明的目的在于提供一种基于HBase的互联网手机云相册备份查询方法及系统,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种基于HBase的互联网手机云相册备份查询方法,包括如下具体操作步骤:
S1:用户上传照片,用户输入用户ID、登录名、登录密码后从用户终端登录应用APP,向云端请求处理系统发出操作请求,选择需要上传的照片文件,选择确定后开始上传,云端处理接收照片,生成文件MD5值,保存到hadoop目录,最后生成rowKey=用户ID_(Long.Max_Value-当前时间long)_文件MD5;值column列族cf:path存着Hadoop目录路径;
S2:检索照片,用户终端完成登录后,输入查询开始时间和结束时间,使用Hbasescan通过setStartRow与setEndRow来限定范围,再加上时间戳反转通过云端请求处理系统计算得到:
StartRow=用户ID_(Long.Max_Value-开始时间的时间戳)
EndRow=用户ID_(Long.Max_Value-结束时间的时间戳)
检索结束后,向用户终端输出已经按时间排好序的图片数据;
S3:删除照片,用户终端完成登录后,选择需要删除的图片,则用户终端会上报要删除的Rowkey,该RowKey会在用户获取云端相片的时候下发到用户终端,云端请求处理系统接收到删除请求,检验权限并通过后,使用Hbase client完成删除。
同时,本发明还公开了一种基于HBase的互联网手机云相册备份查询系统,包括:
用户终端,所述用户终端内安装有应用APP服务,用于维护用户终端的图片上传、下载请求和删除操作;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市保千里电子有限公司,未经深圳市保千里电子有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810423732.X/2.html,转载请声明来源钻瓜专利网。