[发明专利]一种数据迁移方法及装置

说明书

一种数据迁移方法及装置，该方法包括：在第二节点向第一节点迁移数据的过程中，该第一节点从该第二节点读取待迁移的数据、该待迁移的数据的版本号以及从至少一个第三节点中读取与该待迁移的数据属于同一个第一业务的数据的版本号，该第一业务的数据分布存储在该第二节点和至少一个该第三节点中；然后，在该第一节点确定从该第二节点读取的待迁移的数据的版本号与从任意一个该第三节点读取的数据的版本号不同时，该第一节点丢弃从该第二节点读取的待迁移的数据。这样，在数据迁移时，通过比较待迁移的数据的版本号与其他节点中与待迁移的数据属于同一业务的数据的版本号，过滤掉要删除数据，可以减少无效迁移和后续删除IO资源的浪费。

技术领域

本申请涉及存储技术领域，尤其涉及一种数据迁移方法及装置。

背景技术

随着互联网用户的激增以及业务的多样性发展，越来越多的数据(例如，用户数据、业务配置数据等)需要使用存储系统进行存储，以便用来分析和指导业务。集群存储系统因为其容量较大以及易于扩展的特点，在数据存储中应用广泛。

请参考图1A，为集群存储系统中的一种架构。在图1中，集群存储系统中部署管理节点A以及3个存储节点，分别标记为Node1、Node2和Node3。集群存储系统中设置多个分布式逻辑存储单元(net logic unit number，NLUN)，例如，在该集群存储系统中可以设置NLUN1和NLUN2，每个NLUN用于存储特定的数据，例如，NLUN1用于存储视频数据，NLUN2用于存储文本数据，管理节点A用于管理和维护每个NLUN的成员盘以及每个成员盘中的数据，这样，当集群存储系统接收待存储的数据后，由管理节点A根据待存储的数据的类型判断将待存储的数据存储在NLUN1还是NLUN2中。针对每一个NLUN，可以在每个存储节点中选择若干个磁盘作为该NLUN的成员盘，从而与该NLUN对应的数据全部存储在该NLUN的成员盘中。例如，从每个存储节点中选择2个磁盘作为NLUN1的成员盘，在Node1节点中的成员盘标记为盘1和盘2，在Node2节点中的成员盘标记为盘3和盘4，在Node3节点中的成员盘标记为盘5和盘6，从而得到NLUN1的成员盘的集合为{1,2,3,4,5,6}。

当集群存储系统扩容后，如图1B所示，在集群存储系统中新增一个存储节点，标记为Node4，管理节点A会将其中一个或多个NLUN的某一个成员盘替换为Node4中的一个磁盘，例如，管理节点A将NLUN1在Node3中的磁盘6替换为Node4中的磁盘7，从而，NLUN1的成员盘的集合变为{1,2,3,4,5,7}。然后，管理节点A指示Node4将源磁盘中的数据迁移到目标磁盘中，例如，将磁盘6中的数据迁移到磁盘7中。

由于数据迁移过程对用户是透明的，用户并不知道当前NLUN1正处于数据迁移过程，因此，在NLUN1进行数据迁移时，有可能会接收用户下发的数据删除指令。在这种情况下，若要删除的数据还没有从磁盘6迁移到磁盘7，则Node4在接收到该删除指令后，确定磁盘7并未发现要删除的数据，确定该数据删除指令执行完成。在Node4确定该数据删除指令执行完成后，磁盘6和磁盘7之间完成了数据迁移，从而要删除的数据又存储在磁盘7中，从而造成数据残留。

在现有技术中，为了解决数据残留问题，当Node4接收到该数据删除指令后，会在Node4的删除日志中记录该数据删除指令，当完成数据迁移后，Node4回放该数据删除指令，从而将残留的数据删除。

可见，在上述方案中，要删除的数据首先从源磁盘迁移到目标磁盘，在迁移到目标磁盘后，再将该数据删除。该过程中需要浪费一次读数据的输入输出接口资源，一次写数据的输入输出接口资源和一次删除数据的输入输出接口资源，资源浪费较大。

发明内容

本申请实施例提供一种数据迁移方法及装置，用于减少在数据迁移过程中对数据进行删除时所消耗的资源。