[发明专利]热点检测方法、装置、存储服务器及存储介质在审
申请号: | 202110741525.0 | 申请日: | 2021-06-30 |
公开(公告)号: | CN113420093A | 公开(公告)日: | 2021-09-21 |
发明(设计)人: | 唐彦昭;何昱晨;张一帆;贾硕;赵立伟 | 申请(专利权)人: | 北京小米移动软件有限公司;北京小米松果电子有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/22;G06F16/28;G06F9/50 |
代理公司: | 北京志霖恒远知识产权代理事务所(普通合伙) 11435 | 代理人: | 郭栋梁 |
地址: | 100085 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 热点 检测 方法 装置 存储 服务器 介质 | ||
1.一种分布式存储系统的热点检测方法,其特征在于,应用于存储服务器,所述方法包括:
将数据的键哈希分配至多个数据槽,并记录每个数据槽的数据流量;
根据所述每个数据槽的数据流量对所述多个数据槽进行粗粒度筛查,得到热点槽;
对所述热点槽进行细粒度筛查,得到热点数据。
2.根据权利要求1所述的分布式存储系统的热点检测方法,其特征在于,所述记录每个数据槽的数据流量,包括:
通过原子变量记录所述每个数据槽的数据流量。
3.根据权利要求1所述的分布式存储系统的热点检测方法,其特征在于,所述根据所述每个数据槽的数据流量对所述多个数据槽进行粗粒度筛查,得到热点槽,包括:
根据所述每个数据槽的数据流量,获取所述多个数据槽的数据流量平均值和数据流量标准差;
获取所述每个数据槽的数据流量与所述数据流量平均值之间的差值;
将所述差值与所述数据流量标准差的比值超过第一预设值的数据槽确定为所述热点槽。
4.根据权利要求1-3中任一项所述的分布式存储系统的热点检测方法,其特征在于,所述对所述热点槽进行细粒度筛查,得到热点数据,包括:
对所述热点槽对应的数据的值进行读写操作,并记录每一类数据被读写的次数;
根据所述每一类数据被读写的次数,确定所述热点数据。
5.根据权利要求4所述的分布式存储系统的热点检测方法,其特征在于,所述对所述热点槽对应的数据的值进行读写操作,并记录每一类数据被读写的次数,包括:
利用多个线程将所述热点槽对应的数据的值写入多个消息队列,其中,所述多个线程与所述多个消息队列一一对应;
将所述热点槽对应的数据的值从所述多个消息队列中读出,并记录所述每一类数据被读写的次数。
6.根据权利要求4所述的分布式存储系统的热点检测方法,其特征在于,所述根据所述每一类数据被读写的次数,确定所述热点数据,包括:
根据所述每一类数据被读写的次数,获取所有类数据被读写的次数平均值和次数标准差;
获取所述每一类数据被读写的次数与所述次数平均值之间的差值;
将所述差值与所述次数标准差的比值超过第二预设值的数据确定为所述热点数据。
7.根据权利要求5所述的分布式存储系统的热点检测方法,其特征在于,所述存储服务器包括读数据线程池、写数据线程池和分析线程池,其中,通过所述读数据线程池和所述写数据线程池分别利用多个线程将所述数据的键哈希分配至多个数据槽,并将所述热点槽对应的数据的值写入多个消息队列,通过所述分析池利用多个线程进行粗粒度筛查和细粒度筛查。
8.根据权利要求1所述的分布式存储系统的热点检测方法,其特征在于,在得到热点数据之后,所述方法还包括:
进行热点数据预警,和/或,以日志形式展示所述热点数据。
9.根据权利要求1所述的分布式存储系统的热点检测方法,其特征在于,所述方法还包括:
接收热点检测指令,其中,所述热点检测指令包括用户输入的热点检测指令或者监测服务器在监测到所述存储服务器为热点时生成的;
在接收到所述热点检测指令后,将数据的键哈希分配至多个数据槽。
10.一种分布式存储系统的热点检测装置,其特征在于,应用于存储服务器,所述装置包括:
粗粒度筛选模块,用于将数据的键哈希分配至多个数据槽,并记录每个数据槽的数据流量,以及根据所述每个数据槽的数据流量对所述多个数据槽进行粗粒度筛查,得到热点槽;
细粒度筛选模块,用于对所述热点槽进行细粒度筛查,得到热点数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京小米移动软件有限公司;北京小米松果电子有限公司,未经北京小米移动软件有限公司;北京小米松果电子有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110741525.0/1.html,转载请声明来源钻瓜专利网。