[发明专利]基于访问热度的数据块存储方法、装置及存储设备

说明书

本申请实施例提供一种基于访问热度的数据块存储方法、装置及存储设备。本申请涉及分布式存储技术领域，通过对已存储在云存储集群的各个文件的访问热度进行监控，并获取各个访问热度较高文件的访问响应时间，在访问热度较高文件的访问响应时间较长时，对该访问热度较高文件中影响文件整体访问响应时间的数据块进行转存储，以降低此类数据块的响应时长，从而降低整个文件的访问响应时长，提高用户对访问热度较高文件的访问效率。

技术领域

本申请涉及分布式存储技术领域，具体而言，涉及一种基于访问热度的数据块存储方法、装置及存储设备。

背景技术

在分布式存储技术中，可将文件分块处理后的数据块分布存储到云存储集群的各个存储节点中。客户端可通过各个存储节点上的数据块获得完整的文件，获取完整文件的响应时长是衡量云存储集群存储性能的关键指标。然而，由于在对文件分布式存储之前，并不知道文件未来被访问的频率，若已经分布存储在存储节点上的数据块的响应时间过长，会导致访问热度较高的文件在访问过程中，文件访问整体响应时间过长，影响用户体验。因此，如何缩短访问热度较高的文件在访问过程中的响应时长，是本领域技术人员急需解决的技术问题。

发明内容

有鉴于此，本申请的目的在于提供一种基于访问热度的数据块方法、装置及存储设备，能够将访问热度较高文件中响应时间过长的数据块进行重新转存储，从而能缩短整个文件被访问时的响应时长，提高用户体验。

根据本申请的第一方面，提供一种基于访问热度的数据块存储方法，应用于与云存储集群中各个存储节点通信的存储设备，其中，所述存储节点上分布存储有各个文件的数据块，所述方法包括：

获取所述各个文件在预设时间段内被访问的次数，若存在所述预设时间段内被访问的次数超过第一预设次数的目标文件，则获取该目标文件在所述预设时间段内每次被访问的响应时长；

若所述目标文件在所述预设时间段内，被访问的响应时长大于第一预设时长的次数超过第二预设次数，则获取所述目标文件在被访问的响应时长大于第一预设时长的文件访问过程中，所述目标文件中各个数据块的响应时长，其中，所述第二预设次数小于所述第一预设次数；

将所述目标文件中数据块的响应时长大于第二预设时长的数据块标记为目标数据块，在所述多个存储节点中确定被访问的响应时长小于第二预设时长的存储节点作为目标存储节点，将所述目标数据块从当前的存储节点转存储到所述目标存储节点上，并更新所述目标数据块的存储地址信息。

在第一方面的一种可能的实施方式中，在获取各个文件在预设时间段内被访问的次数之前，所述方法还包括：

将待存储文件进行分块处理得到多个数据块；

根据所述待存储文件预先标记的文件种类，以及所述多个存储节点中已存储数据块所对应文件的文件种类，将分块处理后得到的所述多个数据块按照数据块对应文件的文件种类均匀分布到所述存储节点中，并记录各个存入数据块的存储地址。

在第一方面的一种可能的实施方式中，根据所述待存储文件预先标记的文件种类，以及所述多个存储节点中已存储数据块所对应文件的文件种类，将分块处理后得到的所述多个数据块按照数据块对应文件的文件种类均匀分布到所述存储节点中，并记录各个存入数据块的存储地址的步骤，包括：

统计所述多个存储节点中已存储的和所述待存储文件预先标记的文件种类相同的数据块数量；

将所述待存储文件分块处理后得到的所述多个数据块优先分配存储到已存储的和所述待存储文件预先标记的文件种类相同的数据块数量最少的存储节点中。

在第一方面的一种可能的实施方式中，在所述多个存储节点中确定被访问的响应时长小于第二预设时长的存储节点作为目标存储节点的步骤，包括：