[发明专利]数据处理方法、装置、电子设备及可读存储介质有效
申请号: | 202011560871.0 | 申请日: | 2020-12-25 |
公开(公告)号: | CN112559574B | 公开(公告)日: | 2023-10-13 |
发明(设计)人: | 刘朋 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F16/22;G06F18/214;G06N20/20 |
代理公司: | 北京银龙知识产权代理有限公司 11243 | 代理人: | 许静;黄灿 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 电子设备 可读 存储 介质 | ||
1.一种数据处理方法,由服务器执行,所述方法包括:
接收终端发送的针对第一数据集的缓存预读请求,所述第一数据集包括M个数据组,M为正整数;
确定所述M个数据组中的N个数据组,N为小于M的正整数;
将所述N个数据组的数据预读至缓存中。
2.根据权利要求1所述的方法,其中,所述确定所述M个数据组中的N个数据组,包括:
根据预设映射表,确定所述M个数据组中与服务器对应的N个数据组,所述预设映射表中存储有数据组与服务器之间的对应关系。
3.根据权利要求1所述的方法,其中,所述将所述N个数据组的数据预读至缓存中,包括:
根据服务器的缓存上限,确定所述N个数据组中每个数据组的可缓存数据量;
根据所述N个数据组中每个数据组的可缓存数据量,将所述N个数据组的数据预读至所述缓存中。
4.根据权利要求1至3任一项所述的方法,其中,所述将所述N个数据组的数据预读至缓存中,包括:
通过L批次缓存预读操作,将所述N个数据组的数据预读至所述缓存中,其中,在每批次缓存预读操作中,对所述N个数据组逐组执行数据的缓存预读。
5.根据权利要求1所述的方法,其中,所述将所述N个数据组的数据预读至缓存中之后,所述方法还包括:
若接收到终端发送的第一目标数据集合,则删除所述缓存中属于所述第一目标数据集合的数据,所述第一目标数据集合为终端当前已经缓存的数据集合;
将第二目标数据集合预读至服务器的缓存中,所述第二目标数据集合为所述N个数据组中未被终端和服务器缓存的数据。
6.根据权利要求1所述的方法,其中,在所述将所述N个数据组的数据预读至缓存中之后,所述方法还包括:
每间隔预设时间周期,根据缓存系统当前可缓存的所述第一数据集的最小数据量,确定服务器当前可缓存的所述N个数据组的最小数据量;
其中,所述缓存系统当前可缓存的所述第一数据集的最小数据量,根据所述第一数据集的数据总量、终端在上一时间周期的数据读取速度和所述缓存系统在上一时间周期的数据读取速度确定。
7.根据权利要求6所述的方法,其中,确定缓存系统当前可缓存的所述第一数据集的最小数据量,包括:
按照以下计算式缓存系统当前可缓存的所述第一数据集的最小数据量:
其中,R为缓存系统当前可缓存的所述第一数据集的数据量,S为所述第一数据集的数据总量,C为终端在上一个时间周期的数据读取速度,Q为所述缓存系统在上一个时间周期的数据读取速度。
8.根据权利要求1所述的方法,其中,所述将所述N个数据组的数据预读至缓存中之后,所述方法还包括:
在接收到终端发送的针对第一数据集的第一数据的数据读取请求,且服务器的缓存中缓存有所述第一数据的情况下,获取并向终端发送所述第一数据;
在接收到终端发送的针对第一数据集的第一数据的数据读取请求,且服务器的缓存中未缓存有所述第一数据但缓存有第二数据的情况下,获取并向终端发送所述第二数据;所述第一数据和所述第二数据属于所述第一数据集中的同一数据组;
在接收到终端发送的针对第一数据集的第一数据的数据读取请求,且服务器的缓存中未缓存有所述第一数据所属的数据组的情况下,向服务器的后端存储系统发送对所述第一数据集的第一数据的数据读取请求。
9.一种数据处理方法,由终端执行,包括:
向Q个服务器发送针对第一数据集的缓存预读请求,所述第一数据集包括M个数据组,Q和M为正整数;
从所述Q个服务器获取所述M个数据组的数据,每个服务器的缓存中存储有所述M个数据组中的至少一个数据组的数据;
将所述M个数据组的数据预读至缓存中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011560871.0/1.html,转载请声明来源钻瓜专利网。