[发明专利]数据处理方法及装置有效
申请号: | 202110688648.2 | 申请日: | 2021-06-21 |
公开(公告)号: | CN113342277B | 公开(公告)日: | 2022-11-08 |
发明(设计)人: | 蔡尚志;王盛 | 申请(专利权)人: | 上海哔哩哔哩科技有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F9/50 |
代理公司: | 北京智信禾专利代理有限公司 11637 | 代理人: | 刘晓楠 |
地址: | 200433 上海市*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 | ||
1.一种数据处理方法,其特征在于,应用于服务节点,包括:
接收目标业务数据获取请求,其中,所述目标业务数据获取请求中包含目标业务标识;
在所述服务节点的磁盘空间中不存在与所述目标业务标识对应的目标业务数据的情况下,基于所述目标业务标识确定并获取目标数据源中的目标业务数据,其中,所述目标数据源是指保存有业务数据原始地址的服务节点;
将所述目标业务数据存入所述服务节点的磁盘空间,计算所述服务节点的当前磁盘空间利用率并获取预设磁盘空间利用率,其中,所述预设磁盘空间利用率根据历史业务数据获取请求确定;
在所述当前磁盘空间利用率大于所述预设磁盘空间利用率的情况下,根据预设的磁盘空间调整策略调整所述服务节点的磁盘空间。
2.如权利要求1所述的数据处理方法,其特征在于,将所述目标业务数据存入所述服务节点的磁盘空间,包括:
获取预设分片值;
根据所述预设分片值对所述目标业务数据进行分片,获得目标业务子数据;
将所述目标业务子数据存入所述服务节点的磁盘空间。
3.如权利要求1所述的数据处理方法,其特征在于,计算所述服务节点的当前磁盘空间利用率,包括:
获取所述服务节点的当前磁盘空间使用容量和磁盘空间总容量;
计算所述当前磁盘空间使用容量和所述磁盘空间总容量的比值;
将所述比值作为所述服务节点的当前磁盘空间利用率。
4.如权利要求1所述的数据处理方法,其特征在于,获取预设磁盘空间利用率,包括:
接收当前统计周期内的磁盘空间利用率调整指令;
获取当前缓存命中率和上一缓存命中率;
根据所述当前缓存命中率和所述上一缓存命中率确定缓存命中增长率;
基于所述缓存命中增长率和预设缓存命中增长率区间确定预设磁盘空间利用率。
5.如权利要求4所述的数据处理方法,其特征在于,获取当前缓存命中率和上一缓存命中率,包括:
根据所述历史业务数据获取请求确定所述当前缓存命中率和所述上一缓存命中率。
6.如权利要求5所述的数据处理方法,其特征在于,根据所述历史业务数据获取请求确定所述当前缓存命中率和所述上一缓存命中率,包括:
获取上一统计周期内业务数据获取请求的请求命中缓存次数和请求总次数,获取当前统计周期内业务数据获取请求的请求命中缓存次数和请求总次数;
计算上一统计周期内业务数据获取请求的请求命中缓存次数和请求总次数的第一比值,将所述第一比值作为上一缓存命中率;
计算当前统计周期内业务数据获取请求的请求命中缓存次数和请求总次数的第二比值,将所述第二比值作为当前缓存命中率。
7.如权利要求4所述的数据处理方法,其特征在于,基于所述缓存命中增长率和预设缓存命中增长率区间确定预设磁盘空间利用率,包括:
获取初始磁盘空间利用率;
判断所述缓存命中增长率是否位于所述预设缓存命中增长率区间;
若是,则计算当前磁盘空间利用率,并将所述当前磁盘空间利用率作为预设磁盘空间利用率;
若否,则将所述初始磁盘空间利用率作为预设磁盘空间利用率。
8.如权利要求1所述的数据处理方法,其特征在于,在所述当前磁盘空间利用率大于所述预设磁盘空间利用率的情况下,根据预设的磁盘空间调整策略调整所述服务节点的磁盘空间,包括:
根据所述预设磁盘空间调整策略淘汰所述服务节点的磁盘空间中的目标业务数据文件。
9.如权利要求1-8任意一项所述的数据处理方法,其特征在于,接收目标业务数据获取请求之后,还包括:
在所述服务节点的磁盘空间中存在与所述目标业务标识对应的目标业务数据的情况下,在所述服务节点的磁盘空间中获取与所述目标业务标识对应的目标业务数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海哔哩哔哩科技有限公司,未经上海哔哩哔哩科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110688648.2/1.html,转载请声明来源钻瓜专利网。