[发明专利]数据处理方法、装置和电子设备在审
申请号: | 202110293380.2 | 申请日: | 2021-03-18 |
公开(公告)号: | CN113010455A | 公开(公告)日: | 2021-06-22 |
发明(设计)人: | 陈墨 | 申请(专利权)人: | 北京金山云网络技术有限公司 |
主分类号: | G06F12/1009 | 分类号: | G06F12/1009;G06F12/0877 |
代理公司: | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人: | 徐丽 |
地址: | 100000 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 电子设备 | ||
本发明提供了一种数据处理方法、装置和电子设备,该方法包括:如果接收到数据访问请求,确定数据访问请求需要访问的目标对象,以及目标对象所属的目标链表;基于目标链表查询预设的内存缓存中是否存在目标对象;如果内存缓存中存在目标对象,基于该数据访问请求访问内存缓存中的目标对象。该方式中,内存缓存中通过链表的方式预先存储多个对象的数据,在访问目标对象的数据时,如果内存缓存中存在目标对象,直接访问内存缓存中的目标对象,由于访问内存缓存中的对象无需将数据访问请求转换为HTTP请求来访问对象,从而减少了数据访问的时延,提升了数据访问速度。
技术领域
本发明涉及数据交互技术领域,尤其是涉及一种数据处理方法、装置和电子设备。
背景技术
在TGT网关中,将对象存储映射为块存储,对外提供块存储服务。相关技术中,通过TGT将对象存储映射为块存储后,客户端访问数据的方式是按照数据偏移和数据长度来请求访问数据(例如,读写数据)的,而后端采用对象存储,每个对象都是一个固定大小的块,每次客户端发送访问数据的请求在后端都会转化为HTTP请求,通过该HTTP请求向对象存储中请求数据,但是每个访问数据的请求都通过HTTP协议进行转化,会造成数据访问时延增加,访问速度下降。
发明内容
本发明的目的在于提供一种数据处理方法、装置和电子设备,以提高数据访问速度。
第一方面,本发明提供了一种数据处理方法,该方法包括:如果接收到数据访问请求,确定该数据访问请求需要访问的目标对象,以及该目标对象所属的目标链表;基于目标链表查询预设的内存缓存中是否存在目标对象;其中,该内存缓存中包含有多个链表;每个链表包含至少一个对象,该对象用于存储指定数量的数据;如果内存缓存中存在目标对象,基于该数据访问请求访问内存缓存中的目标对象。
在可选的实施方式中,如果链表包括多个对象,多个对象按照最后一次访问时间的先后顺序进行排序存储;当链表中对象的数量达到预设的数量阈值后,删除最后一次访问时间最早的对象。
在可选的实施方式中,上述数据访问请求中携带有访问起始位置和访问长度;上述如果接收到数据访问请求,确定数据访问请求需要访问的目标对象,以及该目标对象所属的目标链表的步骤,包括:如果接收到数据访问请求,从该数据访问请求中提取访问起始位置和访问长度;根据访问起始位置、访问长度和预设的设备标识,确定待访问的目标对象的对象标识;针对目标对象的对象标识进行哈希运算,得到哈希值;该哈希值表示目标对象所属链表的链表标识;基于该链表标识,确定目标对象所述的目标链表。
在可选的实施方式中,上述数据访问请求包括数据读取请求,该数据读取请求中携带有读取起始位置和读取长度;该内存缓存包括写缓存和读缓存;上述基于目标链表查询预设的内存缓存中是否存在目标对象的步骤,包括:基于读取起始位置和读取长度,确定目标对象的对象标识;在读缓存的目标链表中,查询是否存在对象标识对应的目标对象;如果内存缓存中存在目标对象,基于数据访问请求访问内存缓存中的目标对象的步骤,包括:如果读缓存中存在目标对象,基于写缓存中保存的对象,按照读取起始位置和读取长度对目标对象进行数据读取处理。
在可选的实施方式中,上述方法还包括:如果读缓存中不存在目标对象,从预设的对象存储中读取目标对象;其中,该对象存储中包含有多个对象,每个对象中均存储有预先保存的指定数据。
在可选的实施方式中,上述基于写缓存中保存的对象,按照读取起始位置和读取长度对目标对象进行数据读取处理的步骤,包括:查询写缓存中是否存在目标对象;如果写缓存中存在目标对象,判断该写缓存中的目标对象所包含的数据是否均为脏数据;如果均为脏数据,从写缓存中读取目标对象;如果不均为脏数据,分别从对象存储中和写缓存中读取目标对象,合并读取的目标对象所包含的数据;其中,该对象存储中包含有多个对象,每个对象中均存储有预先保存的指定数据;如果写缓存中不存在目标对象,从对象存储中读取目标对象。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京金山云网络技术有限公司,未经北京金山云网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110293380.2/2.html,转载请声明来源钻瓜专利网。