[发明专利]数据在线迁移方法、代理节点

说明书

技术领域

本发明涉及数据库领域，更具体的说，是涉及一种数据在线迁移方法和代理节点。

背景技术

随着互联网的迅速发展，各种电子业务数据急剧增长，对高性能、大容量的存储系统的需求越来越急迫，Redis集群既是在此环境下产生的key-value存储系统。

在存储型Redis集群的使用过程中，由于业务数据量的不断增加，会导致Redis集群的剩余内存越来越小，这种情况下，就需要对Redis集群进行扩容，以保证Redis集群后续的持续正常使用。由于存储型Redis集群中，数据都是通过一致性哈希算法来选择对应的Redis实例，因此在对Redis集群进行扩容的过程中，需要将源Redis集群中原有的数据重新进行哈希算法，并迁移到根据哈希算法确定的目标Redis实例中。然而Redis集群数据迁移的过程耗时比较长，如果在此过程中拒绝用户访问，会非常影响用户的使用体验。

现有技术中，有一种针对存储型Redis集群的数据迁移方法，该方法在源Redis集群数据迁移的过程中，同时能够接受用户写入的新数据，并直接同步到目标Redis集群。然而，上述方法在数据迁移的过程中，直接将产生的新数据更新到目标Redis集群，这样就可能造成数据的错乱或丢失，影响用户后续的正常使用。

发明内容

有鉴于此，本发明提供了一种数据在线迁移方法和代理节点，以克服现有技术中由于在数据迁移过程中直接将写操作产生的新数据同步到目标数据库实例中，而导致的数据错乱和丢失的问题。

为实现上述目的，本发明提供如下技术方案：

一种数据在线迁移方法，包括：

向源数据库实例发送同步命令；

接收源数据库实例依据所述同步命令返回的待同步数据；

将所述待同步数据发送至目标数据库实例中；

接收源数据库实例发送的，待同步数据迁移过程中源数据库实例缓存的写操作命令；

将所述写操作命令发送至所述目标数据库实例。

可选的，所述源数据库实例和所述目标数据库实例为键值数据库，在所述向源数据库实例发送同步命令前，还包括：

确定键值与目标数据库实例的对应关系；

则所述将待同步数据发送至目标数据库实例，包括：

依据所述对应关系，将所述待同步数据发送至目标数据库实例中。

可选的，所述确定键值与目标数据库实例的对应关系，包括：

获取目标数据库实例列表；

构造键值和所述目标数据库实例列表的对应关系。

可选的，所述写操作命令包括待操作数据和操作命令，则所述将所述写操作命令发送至所述目标数据库实例，包括：

确定所述待操作数据所在的目标数据库实例；

将所述操作命令发送至所述目标数据库实例，以使得所述目标数据库实例依据所述操作命令对所述待操作数据进行更新。

可选的，在所述将所述待同步数据发送至目标数据库实例中后，还包括：

向所述源数据库实例发送写操作同步命令。

可选的，在所述将所述待同步数据发送至目标数据库实例中前，还包括，解析所述待同步数据；

则所述将所述待同步数据发送至目标数据库实例中，具体包括：将解析后的所述待同步数据发送至目标数据库实例中。

一种代理节点，包括：

命令发送模块，用于向源数据库实例发送同步命令；

数据接收模块，用于接收源数据库实例依据所述同步命令返回的待同步数据；

数据发送模块，用于将所述待同步数据发送至目标数据库实例中；

操作接收模块，用于接收源数据库实例发送的，待同步数据迁移过程中源数据库实例缓存的写操作命令；

操作发送模块，用于将所述写操作命令发送至所述目标数据库实例。

可选的，所述源数据库实例和所述目标数据库实例为键值数据库，则所述代理节点还包括：

关系确定模块，用于在命令发送模块向源数据库实例发送同步命令前，确定键值与目标数据库实例的对应关系；

则所述数据发送模块具体用于：依据所述对应关系，将所述待同步数据发送至目标数据库实例中。

可选的，所述关系确定模块包括：

列表获取模块，用于获取目标数据库实例列表；

关系构造模块，用于构造键值和所述目标数据库实例列表的对应关系。

可选的，所述写操作命令包括待操作数据和操作命令，则所述操作发送模块包括：

实例确定模块，用于确定所述待操作数据所在的目标数据库实例；