[发明专利]一种存储系统的热点数据识别和调度方法及系统

说明书

本发明公开了一种存储系统的热点数据识别和调度方法和系统，包括：收集器收集存储系统中数据对象的访问信息，并将所述数据对象的访问信息发送给监控数据库；调度器从所述监控数据库获取数据对象的访问信息，根据所述数据对象的访问信息识别热点数据，并将所述热点数据写入存储系统的高速存储器中；所述高速存储器分别设置热点数据的过期时间，调度器根据所述过期时间进行热点数据的调度。本发明有效解决热点数据访问的瓶颈问题。

技术领域

本发明涉及存储系统技术领域，尤指一种存储系统的热点数据识别和调度方法及系统。

背景技术

随着互联网技术的不断发展，各类非结构化数据，如图片、音视频、文本资料等呈现出爆炸性增长的趋势。同时，对于数据的访问特征来说，也存在着访问频度上的差异，不同的数据之间有“冷热”之分，如果多个“热点”数据引用了同一个数据片段，则该数据片段的“热度”将是各个“热点”数据“热度”的加和。可知这类热点的数据会成为存储系统访问的瓶颈。

识别出“冷热”数据块，根据策略进行数据迁移，将访问频率较低的数据自动迁移到低速、低成本的存储层上，将频繁访问的数据迁移到高性能的存储层次上，是目前分布式存储系统亟待解决的一个问题。

发明内容

为了解决上述技术问题，本发明提供了一种存储系统的热点数据识别和调度方法及系统，能够有效解决热点数据访问的瓶颈问题。

为了达到本发明目的，本发明提供了一种存储系统的热点数据识别和调度方法，其特征在于，包括：收集器收集存储系统中数据对象的访问信息，并将所述数据对象的访问信息发送给监控数据库；调度器从所述监控数据库获取数据对象的访问信息，根据所述数据对象的访问信息识别热点数据，并将所述热点数据写入存储系统的高速存储器中；所述高速存储器分别设置热点数据的过期时间，调度器根据所述过期时间进行热点数据的调度。

进一步地，所述收集器收集存储系统中数据对象的访问信息，具体为：

收集器通过监控数据库获取历史的数据对象的访问信息，通过消息队列获取实时的数据对象的访问信息，其中所述消息队列的实时的数据对象的访问信息来自从监视器订阅的实时系统监测数据。

进一步地，所述根据所述数据对象的访问信息识别热点数据，具体为：根据所述数据对象的访问信息，基于热点数据的判别函数识别热点数据，所述热点数据的判别函数为：

get_topk(db，K，time)；

其中，db是监控数据库，K是访问次数排名，time是计算访问次数的起始时间；所述判别函数，表示在监控数据库db中取得从time时间点到当前时间内，访问次数排名前K的热点数据，函数的返回值是访问次数排名前K的热点数据的集合。

进一步地，所述高速存储器分别设置热点数据的过期时间，具体为：将时间划分为时间槽TIMESLOT，一个TIMESLOT为一个执行调度的周期；对进入高速存储器的热点数据分别设置默认的过期时间，所述默认的过期时间为当前时间加上T个TIMESLOT；每个TIMESLOT中数据的重复率均为λ(1≥λ≥0)，则T个TIMESLOT后，高速存储器中保有的热点数据数量为(1-λ)×T×K；对带有n次访问次数的数据对象，会将过期时间延后l(l＝f(n),l∈N)个TIMESLOT。

进一步地，所述调度器根据所述过期时间进行热点数据的调度，具体为：所述调度器根据所述过期时间，基于调度函数进行热点数据的调度，所述调度函数为：

get_swapout(schedule，count)；

其中，schedule为高速存储器中的热点数据表，count为需要调度出高速存储器的热点数据的计数；所述调度函数，表示在高速存储器的热点数据表schedule中取得count个热点数据被调度出高速存储器，函数的返回值是count个被调度出热点数据的集合。