[发明专利]一种数据处理方法和设备有效
申请号: | 201510742561.3 | 申请日: | 2015-11-04 |
公开(公告)号: | CN106649412B | 公开(公告)日: | 2021-05-04 |
发明(设计)人: | 魏闯先;潘岳;郑博文;曾杰南 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/23 | 分类号: | G06F16/23;G06F16/2455 |
代理公司: | 北京睿博行远知识产权代理有限公司 11297 | 代理人: | 龚家骅 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 设备 | ||
1.一种数据处理方法,其特征在于,应用于包括多个只读快照和一个可写快照的数据存储系统中,各个只读快照的生成时间各不相同,该方法包括:
基于对数据的修改生成可写快照;
定时通过克隆可写快照生成新的只读快照;
当接收到数据查询请求时,通过索引的方式在当前生成时间最新的只读快照完成数据查询;
其中,在进行查询时,所有的查询都可运行在任意一个只读快照上;
所述只读快照与所述可写快照的结构一致,所述结构中以数据列来进行数据存储,每个数据列中包含有一个或多个数据块,每个数据块中包含相同数量的子数据块;
所述数据块中存储的多个数据包含有数值;
所述当接收到数据查询请求时,通过索引的方式在当前生成时间最新的只读快照完成数据查询,具体包括:
当接收到数据查询请求时,基于所述数据查询请求确定待查询的数据的数值;
确定当前生成时间最新的只读快照,以及确定的只读快照中的各个数据块,并确定各个数据块中的数据的数值范围;
通过判断待查询的数据的数值是否处于所述数值范围内来对各个数据块进行筛选;
再通过扫描筛选出的数据块,并进行数值匹配,以完成数据查询。
2.如权利要求1所述的方法,其特征在于,基于对数据的修改生成可写快照,具体包括:
确定当前生成时间最新的只读快照;
将确定的只读快照中的数据信息复制到预设快照中;
在预设快照中确定待修改的数据的位置,并在确定的位置完成数据的修改,以及基于修改更新预设快照中的数据信息;
基于更新后的预设快照中的数据信息生成可写快照。
3.如权利要求2所述的方法,其特征在于,对数据的修改包括:插入数据,删除数据,更新数据;
所述在预设快照中确定待修改的数据的位置,并在确定的位置完成数据的修改,以及基于修改更新预设快照中的数据信息,具体包括:
当需要插入数据时,在预设快照中确定存储待插入的数据的子数据块;并在数据存储空间中对应确定的子数据块的位置将待插入的数据插入;基于插入的数据的数据信息更新预设快照中的数据信息;
当需要删除数据时,在预设快照中确定待删除的数据所在的子数据块;在数据存储空间中对应确定的子数据块的位置将待删除的数据删除,并将预设快照中确定待删除的数据所在子数据块所对应的数据标识更改为已删除状态;
当需要更新数据时,在预设快照中确定待更新的数据所在的数据块,复制确定的数据块,在复制的数据块中确定需要更新的数据所在的子数据块,并在数据存储空间中对应确定的子数据块的位置进行数据更新,生成更新后的数据块,以及在预设快照中将更新后的数据块替换预设的快照中对应的数据块。
4.如权利要求1所述的方法,其特征在于,所述数据块中存储的多个数据包含有数值;
所述当接收到数据查询请求时,通过索引的方式在当前生成时间最新的只读快照完成数据查询,具体包括:
当接收到数据查询请求时,基于所述数据查询请求确定待查询的数据的数值;
基于各个数据块中的各个数据的数值新生成按照数值大小排序的数据排序序列;
利用二分查找法以及待查询的数据的数值在所述数据排序序列中进行查找,以完成数据查询。
5.如权利要求4所述的方法,其特征在于,基于各个数据块中的各个数据的数值新生成按照数值大小排序的数据排序序列,具体包括:
通过为各个数据块中的各个数据建立倒排索引的方式,生成按照数值从小到大排序的数据排序序列。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510742561.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种课件的制作、解析装置及其方法
- 下一篇:一种网页标签的分组方法和装置