[发明专利]一种数据迁移方法、装置、电子设备及存储介质

说明书

本申请涉及一种数据迁移方法、装置、电子设备及存储介质。其中，数据迁移方法包括：若检测到发生满足数据迁移条件的事件，确定进行数据迁移的第一存储节点，以及接收迁移数据的第二存储节点，向第一存储节点发送数据迁移指令，对第一数据分库进行备份，生成与第一数据分库存储相同数据的第二数据分库，并对第二数据分库进行处理，得到只包含迁移数据的第三数据分库，控制第一存储节点，将第三数据分库整体通过网络传输至第二存储节点，这样，通过将只包含迁移数据的第三数据分库整体传输至第二存储节点，可以提高数据迁移的效率。

技术领域

本申请涉及存储服务技术领域，尤其涉及一种数据迁移方法、装置、电子设备及存储介质。

背景技术

分布式存储系统，是将数据分散存储在多台独立的存储节点上的存储系统，通常，分布式网络存储系统采用可扩展的系统结构，利用多台存储节点分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

当服务请求高峰来临时，存储系统需要能快速扩容来降低单机压力，所以灵活快速的扩容是一个分布式存储系统的重要能力，目前，实现扩容逻辑主要有以下这两种方式：方式一，在需要迁出数据的存储节点上，调用存储数据库(RocksDB)的读接口，读出来需要迁移出的数据，然后构建成一个个的写命令，每个命令中包含一条或多条数据，最后将该命令发送给新添加进来的节点，新节点收到后解析出命令中的数据，最后写入到自己的RocksDB中。方式二，在需要迁出数据的节点上，首先调用RocksDB的读接口，读出来需要迁移出的数据，然后把这些数据原地构建成RocksDB的序列化证书存储文件(SerializedCertificate Store File，SST)文件，最后将整个SST文件发送给新添加进来的节点，新加点收到SST文件后，将SST文件导入到自己的RocksDB中。

上述两种方式都是需要先从RocksDB中读出来需要迁移的数据，这个读操作比较消耗硬盘性能，速度不能太快，快了就会影响整个系统的稳定性；另外新节点在收到写命令或者SST文件后，需要将数据写进自己的RocksDB中，这个写操作也不能太快，导致数据迁移效率较低，同时以上两点制约了扩容的效率。

发明内容

有鉴于此，本申请实施例至少提供一种数据迁移方法、装置、电子设备及存储介质，可以提高数据迁移的效率。

本申请主要包括以下几个方面：

第一方面，本申请实施例提供一种数据迁移方法，应用于存储系统中的中心控制节点，所述存储系统还包括至少两个存储节点，每个存储节点包含一个数据分库，所述数据迁移方法包括：

若检测到发生满足数据迁移条件的事件，确定进行数据迁移的第一存储节点，以及接收迁移数据的第二存储节点；

向所述第一存储节点发送数据迁移指令，以使所述第一存储节点对自身存储的第一数据分库进行备份，生成与所述第一数据分库存储相同数据的第二数据分库，并对所述第二数据分库进行处理，得到只包含所述迁移数据的第三数据分库；

控制所述第一存储节点，将所述第三数据分库整体通过网络传输至所述第二存储节点。

在一种可能的实施方式中，根据以下步骤确定进行数据迁移的第一存储节点：

将当前服务性能值小于或等于第一预设性能阈值的存储节点，和/或，将当前服务请求量大于或等于第一预设访问阈值的存储节点，确定为所述第一存储节点。

在一种可能的实施方式中，根据以下步骤确定接收迁移数据的第二存储节点：

将所述当前服务性能值大于或等于第二预设性能阈值的存储节点，和/或；将所述当前服务请求量小于或等于第二预设访问阈值的存储节点，确定为接收所述迁移数据的所述第二存储节点；

其中，所述第一预设性能阈值小于第二预设性能阈值，所述第一预设访问阈值大于所述第二预设访问阈值。