[发明专利]PaaS系统中hbase数据删除方法及装置有效
申请号: | 201511029045.2 | 申请日: | 2015-12-31 |
公开(公告)号: | CN105608215B | 公开(公告)日: | 2019-03-26 |
发明(设计)人: | 王阳 | 申请(专利权)人: | 新浪网技术(中国)有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/215 |
代理公司: | 北京卓岚智财知识产权代理事务所(特殊普通合伙) 11624 | 代理人: | 任漱晨 |
地址: | 100080 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | paas 系统 hbase 数据 删除 方法 装置 | ||
本发明实施例提供一种PaaS系统中hbase数据删除方法及装置,该方法包括:接收用户发送的数据删除指令,所述数据删除指令中包括关键字范围;根据所述关键字范围,确定待删除的用户数据的起始关键字和结束关键字所在的存储区域;对起始关键字和结束关键字所在的存储区域,根据所述关键字范围对其中存储的用户数据进行关键字匹配判断,将关键字匹配的用户数据删除;对处于起始关键字和结束关键字所在的存储区域之间的存储区域,将其中的用户数据删除。能够实现快速、高效的数据删除,数据删除操作的处理速度快,处理时间短。
技术领域
本发明涉及数据处理技术领域,尤指一种PaaS系统中hba se数据删除方法及装置。
背景技术
随着网络的不断发展,为用户提供服务的方法已经由软件即服务(Software as aService,SaaS)的方式转变为平台即服务(Platform as a Service,PaaS)的方式。PaaS系统中可以使用Hadoop数据库(Hadoop Database,HBase)系统,Hbase系统是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价个人计算机服务器(PCServer)上搭建起大规模结构化存储集群。
在hbase系统中如果想删除数据,就只能调用上层的删除函数Java语言程序开发工具包(Java Development Kit,JDK)的应用程序编程接口(Application ProgrammingInterface,API)将数据删除。因为在hbase系统中最终存入的数据都是只读文件。所有的写操作都是先写入到缓冲中当缓冲满了之后就会刷新到磁盘,一般hbase会搭配hadoop,那么就是写入到hadoop中。写入的用户数据文件叫HFile,是hbase自定义格式的二进制文件。
这个HFile(假设叫文件A)一旦创建写入后就不可以更改了。如果想将这个文件A中的某些内容删除,那么需要再写入一个新的HFile文件B,然后插入一些删除(Delete)状态的关键字-值(key-value),标示这些key-value是被删除的。文件B中的标记删除的那些key就是在文件A中的key。之后hbase上层会触发一个文件合并的操作,这个操作可能是手动触发的,也可以是配置文件中指定的时间到了才触发的。当触发这个操作后,就会遍历某几个HFile,比如文件A和文件B,然后将文件A和文件B的内容合并成文件C并保存,在合并的过程中如果发现某些key被标记为删除,则不保存这些key,最后将文件A和文件B删除。经过这些步骤后那些需要删除的key就被真正删除了。
由此可见,现有技术中,在hbase系统中一个删除操作和一个插入/更新操作理论上是一样的,插入/更新也是写一条数据,数据类型是插入/更新,而删除操随着作也是写一条数据,数据类型是删除。当这条删除数据插入后,上层用户再读就读不到了,但是在执行合并前,这些数据实际上都存在磁盘中。
这样通过逐个文件合并的方式实现数据删除时,当需要删除的数据量比较大时,会导致删除操作的时间很长,例如:用户有100G的数据,那么要全部删除就需要执行大量的删除操作,写入一个个标记为删除的操作,并一个个的进行文件合并,随着数据量的增加整个删除操作也就越慢。而且在hbase系统中删除一些数据,由于合并过程会轻微影响线上业务所以一般晚上执行。
可见,现有habse系统中从删除操作开始到最终将数据从磁盘或者hadoop上删除需要经过很长时间,其删除操作处理时间很长,效率很低,不能快速、高效的实现对用户数据的删除操作。
发明内容
本发明实施例提供一种PaaS系统中hbase数据删除方法及装置,用以解决现有技术中存在用户数据删除时,删除操作处理时间长,速度慢、效率低下的问题,能够实现快速、高效的用户数据删除。
一方面,本发明实施例提供了一种hbase数据删除方法,包括:
接收用户发送的数据删除指令,所述数据删除指令中包括关键字范围;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新浪网技术(中国)有限公司,未经新浪网技术(中国)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201511029045.2/2.html,转载请声明来源钻瓜专利网。
- 上一篇:交通控制数据处理方法及装置
- 下一篇:微型藻类培养加速器
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置