[发明专利]一种动态自适应调度的数据迁移方法、装置、设备和介质

说明书

本发明公开了一种动态自适应调度的数据迁移方法，包括：针对影响访问效率的若干影响因子分别创建相对应的缓存队列，缓存队列配置为存储数据索引，并将存储区中的数据配置为与数据索引相互对应；为每个缓存队列分别配置一个淘汰队列，使每个淘汰队列的空间大小相等，淘汰队列配置为存储从相应的缓存队列移除的数据索引；响应于淘汰队列中的数据索引对应的数据被访问，将数据索引从淘汰队列中删除并存入对应的缓存队列，并且相应地减少其他缓存队列的权重。本发明还公开了一种装置、设备和介质。通过本发明的动态自适应调度的数据迁移方法、装置、设备和介质可以实现不同影响因子之间自适应的缓存调度。

技术领域

本发明涉及数据存储系统领域，更具体地，特别是指一种动态自适应调度的数据迁移方法、装置、设备和介质。

背景技术

每台存储系统具有不同特征，但均无法兼容到费用、性能和容量等方面都达到用户需求，单一存储设备构成的存储系统并不适用于大规模云存储服务。解决这个问题的办法其一是将内存作为缓存，于是产生了具有内存缓存和底层存储设备的存储系统。虽然这能够提高存储系统的性能，但却面临新的问题，虽然内存的存取速度快，但因为其易失性的特性，而且其价格较为昂贵，且目前内存的大小无法达到像底层磁盘一样的大小，所以在可靠性和性价比方面都有待提高。另一种方法就是分层存储技术，一个整体的存储系统包含了多种不同性能的存储设备，通过优秀的调度算法在不同性能的存储介质之间自动迁移数据。而优秀、智能的调度算法则是分层存储的核心。

基于上述问题，需要提出一种动态自适应调度策略的数据迁移方法，用于改进传统数据迁移无法同时兼顾到访问时效和访问频率等多种访问因素的问题。

发明内容

有鉴于此，本发明实施例的目的在于提供一种动态自适应调度的数据迁移方法、装置、设备和介质，可以在系统运行的过程中，自适应的修改进行访问模型的跟踪，而不需要用户人为的去设置两种因素的权重造成因为参数的设置不合理导致系统无法发挥最大能力。

基于上述目的，本发明一方面提供了一种动态自适应调度的数据迁移方法，该方法包括：针对影响访问效率的若干影响因子分别创建相对应的缓存队列，缓存队列配置为存储数据索引，并将存储区中的数据配置为与数据索引相互对应；为每个缓存队列分别配置一个淘汰队列，使每个淘汰队列的空间大小相等，淘汰队列配置为存储从相应的缓存队列移除的数据索引；响应于淘汰队列中的数据索引对应的数据被访问，将数据索引从淘汰队列中删除并存入对应的缓存队列，并且相应地减少其他缓存队列的权重。

在本发明的动态自适应调度的数据迁移方法的一些实施方式中，该方法还包括：将策略信息存放于管理节点中，策略信息包括缓存队列以及淘汰队列被占用的情况以及队列长度，并通过管理节点对缓存队列以及淘汰队列进行实时控制。

在本发明的动态自适应调度的数据迁移方法的一些实施方式中，响应于淘汰队列中的数据索引对应的数据被访问，将数据索引从淘汰队列中删除并存入对应的缓存队列，并且相应地减少其他缓存队列的权重还包括：将数据索引从淘汰队列中删除并存入对应的缓存队列，以使缓存队列的空间大小增加第一值，将其他缓存队列中最早存入的数据索引移动到淘汰队列中以使其他缓存队列的总空间大小减少第二值，并保持第二值与第一值相等。

在本发明的动态自适应调度的数据迁移方法的一些实施方式中，影响因子包括访问时效和访问频率，访问时效对应的缓存队列存储的数据索引是最近被访问的数据指纹，访问频率对应的缓存队列存储的数据索引是至少出现过两次的数据指纹，不同缓存队列中的数据索引不重复，访问时效相对于访问频率配置有更高的优先级。

在本发明的动态自适应调度的数据迁移方法的一些实施方式中，缓存队列的总空间大小与存储区的空间大小相等，

所述方法还包括：响应于数据索引从第一缓存队列转移到第二缓存队列，减少第一缓存队列的空间大小并增加第二缓存队列的空间大小。