[发明专利]热点检测方法、装置、存储服务器及存储介质

说明书

本公开提出一种分布式存储系统的热点检测方法、装置、存储服务器及存储介质，属于分布式存储技术领域。其中热点检测方法包括：将数据的键哈希分配至多个数据槽，并记录每个数据槽的数据流量；根据每个数据槽的数据流量对多个数据槽进行粗粒度筛查，得到热点槽；对热点槽进行细粒度筛查，得到热点数据。由此，通过双层筛查结构对存储服务器内的数据进行抓包分析，能够尽可能在不降低系统可用性以及性能的前提下，完成热点数据的分析，确定出热点数据，以便于对该热点数据及时处理，防止系统故障，即因热点数据导致单机压力过大导致宕机。

技术领域

本公开涉及分布式存储技术领域，尤其涉及一种分布式存储系统的热点检测方法、装置、存储服务器及存储介质。

背景技术

近年来，随着互联网用户的飞速增长以及AI(Artificial Intelligence，人工智能)领域对于大数据的依赖，数据分析和后台开发人员需要获得与处理相关的越来越多的数据，在这样的背景下，分布式存储相对于传统的单机存储越来越流行。但是，在采用较低成本获取大量算力的同时，分布式存储系统在运维与使用中也会遇到各种各样的挑战，数据热点问题就是最常见的问题之一。

热点解决方案对于任何分布式存储系统都是一个值得思考的问题，实际运维中，由单个热点数据导致分布式存储系统整体不稳定是很常见的现象，例如某商品降价引发的瞬时热卖、微博热点话题的突然出现、或是开发人员写入数据库的数据大小分配不均，这些都可能引发热点问题。在解决这些问题时，首先需要能够快速且准确地发现这些热点。

相关技术中，通过使用流式计算技术来进行实时数据访问次数的统计，并在统计过程中，当某条数据的出现次数达到热点阈值时，认为该数据即为热点数据。该方式虽然能够确定出热点数据，但是这会增加延迟，降低系统可用性。

发明内容

本公开实施例提供一种分布式存储系统的热点检测方法、装置、存储服务器及存储介质。

本公开第一方面实施例提出了一种分布式存储系统的热点检测方法，应用于存储服务器，方法包括：将数据的键哈希分配至多个数据槽，并记录每个数据槽的数据流量；根据每个数据槽的数据流量对多个数据槽进行粗粒度筛查，得到热点槽；对热点槽进行细粒度筛查，得到热点数据。

在本公开的一个实施例中，记录每个数据槽的数据流量，包括：通过原子变量记录每个数据槽的数据流量。

在本公开的一个实施例中，根据每个数据槽的数据流量对多个数据槽进行粗粒度筛查，得到热点槽，包括：根据每个数据槽的数据流量，获取多个数据槽的数据流量平均值和数据流量标准差；获取每个数据槽的数据流量与数据流量平均值之间的差值；将差值与数据流量标准差的比值超过第一预设值的数据槽确定为热点槽。

在本公开的一个实施例中，对热点槽进行细粒度筛查，得到热点数据，包括：对热点槽对应的数据的值进行读写操作，并记录每一类数据被读写的次数；根据每一类数据被读写的次数，确定热点数据。

在本公开的一个实施例中，对热点槽对应的数据的值进行读写操作，并记录每一类数据被读写的次数，包括：利用多个线程将热点槽对应的数据的值写入多个消息队列，其中，多个线程与多个消息队列一一对应；将热点槽对应的数据的值从多个消息队列中读出，并记录每一类数据被读写的次数。

在本公开的一个实施例中，根据每一类数据被读写的次数，确定热点数据，包括：根据每一类数据被读写的次数，获取所有类数据被读写的次数平均值和次数标准差；获取每一类数据被读写的次数与次数平均值之间的差值；将差值与次数标准差的比值超过第二预设值的数据确定为热点数据。

在本公开的一个实施例中，存储服务器包括读数据线程池、写数据线程池和分析线程池，其中，通过读数据线程池和写数据线程池分别利用多个线程将数据的键哈希分配至多个数据槽，并将热点槽对应的数据的值写入多个消息队列，通过分析池利用多个线程进行粗粒度筛查和细粒度筛查。