[发明专利]数据迁移方法和装置、服务器、网络系统

说明书

本申请实施例提供一种数据迁移方法和装置、服务器、网络系统。数据迁移方法包括：响应迁移第一服务器中的原始数据队列的数据的迁移指令，预测消费者读取原始数据队列的第一数据的总次数，第一数据为收到迁移指令时原始数据队列中已写入的数据；当总次数小于或等于设定次数时，选择第一迁移策略来确定开始迁移位置，第一迁移策略的开始迁移位置位于原始数据队列的最早数据位置的下游；按照设定顺序将原始数据队列中的数据拷贝至第二服务器中以形成迁移数据队列，设定顺序为从开始迁移位置至生产者在迁移过程中最新写入原始数据队列的数据的位置的顺序。通过根据消费者的消费情况选择迁移策略，有助于提升迁移速度，降低磁盘的io资源消耗。

技术领域

本申请涉及数据存储技术领域，尤其涉及一种数据迁移方法和装置、服务器、网络系统。

背景技术

数据通道产品多用于上游系统发布消息下游系统订阅使用消息，消息在数据通道中以一种先进先出队列的形式进行存储，下游任务也是顺序读取数据并处理。

当前大部分的消息通道产品的数据高可靠都是通过数据冗余实现，即业务数据在集群中多份副本存储。当出现部分节点故障或节点扩缩容时就需要进行必要数据副本迁移，以保证原有数据的高可靠特性。现有技术的数据副本迁移数据量较大，迁移速度较慢，并且会消耗大量的磁盘io、网络带宽等资源，势必会对原有正常业务产生冲击。

发明内容

本申请实施例提供了一种数据迁移方法和装置、服务器、网络系统，在保证上下游数据能够有效传输且不会发生数据遗失问题的前提下，能够针对消费者的不同消费情况选择不同迁移策略，有助于提升副本迁移完成的速度和降低存储数据的磁盘的io资源消耗，进而减少副本迁移对正常业务的影响。

第一方面，本申请实施例提供了一种数据迁移方法，所述数据迁移方法包括：响应迁移第一服务器中的原始数据队列的数据的迁移指令，预测消费者读取所述原始数据队列的第一数据的总次数，其中，所述第一数据为收到所述迁移指令时所述原始数据队列中已写入的数据；当所述总次数小于或等于设定次数时，选择第一迁移策略来确定开始迁移位置，其中，所述第一迁移策略的开始迁移位置位于所述原始数据队列的最早数据位置的下游；按照设定顺序将所述原始数据队列中的数据拷贝至第二服务器中以形成迁移数据队列，其中，所述设定顺序为从所选迁移策略的开始迁移位置至生产者在迁移过程中最新写入所述原始数据队列的数据的位置的顺序。

在上述方案中，当接收到迁移第一服务器中的原始数据队列中的数据的迁移指令时，可先预测消费者在收到迁移指令后再次读取原始数据队列的第一数据的总次数，若总次数小于或等于设定次数，即消费者读取原始数据队列的第一数据的次数较少，则选择第一迁移策略来确定开始迁移位置，并按照从所选迁移策略的开始迁移位置至生产者在迁移过程中最新写入原始数据队列的数据的位置的顺序，将原始数据队列中的数据拷贝至第二服务器中以形成迁移数据队列，由于第一迁移策略的开始迁移位置位于原始数据队列的最早数据位置的下游，这样减少了第一数据的拷贝数量，并且由于数据先存储至页面缓存中，一定时间后页面缓存中的数据再存入磁盘中，即未拷贝的数据一般是位于磁盘中的数据，从而增大了从页面缓存中读取数据的比例，使得发生真正的磁盘读取的概率减小，从而降低存储数据的磁盘的io资源消耗，减少副本迁移对正常业务的影响，并且不需要迁移原始数据队列中所有的数据，从而能够提升副本迁移完成的速度。

在一种可能的实现方式中，所述选择第一迁移策略来确定开始迁移位置，具体包括：获取当前时刻所述原始数据队列的最早活跃消费者的读取位置和最新数据位置，其中，所述当前时刻为确定所述总次数小于所述设定次数的时刻，所述最新数据位置为所述生产者在所述当前时刻写入所述原始数据队列的数据的位置；当所述最早活跃消费者的读取位置与所述最新数据位置之间的距离小于或等于设定距离时，确定所述第一迁移策略的开始迁移位置为所述最新数据位置。