[发明专利]一种热点数据识别方法及其装置

说明书

本发明公开了一种热点数据识别方法及其装置，包括依据每个存储数据块在第一预设时间段内的访问次数确定初始热点队列；每隔预设时间计算每个热点数据块在全部热点数据块中所占的权重及与热点数据块相关联的数据块集合中每个数据块与热点数据块的关联度；将每个热点数据块的权重与自身关联的各个数据块的关联度分别相乘，得到各个数据块的热度预测值；将具有热度预测值的全部数据块依据自身热度预测值进行排序，具有多个热度预测值的数据块以自身最高的热度预测值为准；将排序结果中前预设个数的数据块加入初始热点队列内得到当前热点队列。本发明能够有效识别热点数据，并尽可能避免由于突发性访问而导致的短时间内数据重复升降级迁移的情况。

技术领域

本发明涉及热点数据管理技术领域，特别是涉及一种热点数据识别方法及其装置。

背景技术

为了提高I/O性能，目前采用多级存储介质存放不同访问热度的数据，将大量的、不常用的冷数据存放在读写速度慢，成本低的存储介质中，将少量的、经常访问的热点数据存放着读写速度快的存储介质中，既能降低存储成本，又能提高I/O性能。

现有的热点数据识别方法主要是将存储区域划分为若干数据块，然后对数据块进行访问次数统计，统计某个时间段内的所有数据块的访问次数，根据访问次数计算访问频率，并将访问频率高的数据，作为热点数据块，放入热点队列中，然后将热点队列中不经常访问的数据块进行降级迁移。

但是当出现突发性的访问需求时，短时间会出现大量次数的访问，这种情况下采用上述识别方法会将突发性访问的数据块标记为热点数据，并放入热点队列中，但是，该数据块可能仅访问这一次后就不再访问了，故这种情况下会造成短时间内数据重复升降级迁移，增加存储系统的负担，造成数据抖动。

因此，如何提供一种能够有效识别热点数据且克服数据抖动的热点数据识别方法及其装置是本领域技术人员目前需要解决的问题。

发明内容

本发明的目的是提供一种热点数据识别方法及其装置，能够有效识别热点数据，并尽可能避免由于突发性访问而导致的短时间内数据重复升降级迁移的情况。

为解决上述技术问题，本发明提供了一种热点数据识别方法，包括：

依据每个存储数据块在第一预设时间段内的访问次数确定热点数据块，将热点数据块添加进初始热点队列内；

每隔预设时间计算每个所述热点数据块在全部热点数据块中所占的权重；并确定存储系统中，与每个所述热点数据块相关联的数据块集合以及所述数据块集合中每个数据块与所述热点数据块的关联度；

将所述热点数据块的权重分别和自身关联的数据块集合中的各个数据块的关联度相乘，得到各个数据块的热度预测值；

将具有热度预测值的全部数据块依据自身热度预测值的从大到小进行排序，其中，具有多个热度预测值的数据块以自身最高的热度预测值为准；

将排序结果中前预设个数的数据块标记为热点数据块并加入所述初始热点队列内得到当前热点队列。

优选地，所述与每个所述热点数据块相关联的数据块集合内具体包含：

除各个热点数据块以外的、且与所述热点数据块相关联的数据块。

优选地，所述计算每个所述热点数据块在全部热点数据块中所占的权重的过程具体为：

统计所述热点数据块在第二预设时间段内的访问次数；

将所述热点数据块的访问次数与全部热点数据块的访问次数之和作比，得到的比值即为所述热点数据块所占的权重。

优选地，一个数据块与对应的热点数据块的关联度具体为：

所述热点数据块在最近一次被访问之前的第三预设时间段以及之后的第四预设时间段内该数据块被访问的次数。