[发明专利]集群间数据转移的方法和装置

说明书

本发明公开了一种集群间数据转移的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：通过监控机构建立源集群和目标集群的关联；源集群向监控机构发送待转移的数据信息；目标集群通过监控机构获取待转移的数据信息，并创建用于保存待转移数据的目标表，将目标表信息发送给监控机构；源集群通过监控机构获取目标表信息，然后将待转移数据发送给目标表。该实施方式解决了由于人工操作带来的操作繁琐，易出错等问题，大大提升了运维人员的处理效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种集群间数据转移的方法和装置。

背景技术

在HBase(一种基于多台服务器的分布式数据库)的实际应用中，通常会部署多个HBase集群(一个集群通常有多台服务器)，有时为了减轻某个集群的访问压力，需要将这个集群上的部分业务迁移到其他压力较小的集群上。在这个过程中，保证数据正常(即不丢数据)、稳定，就是非常重要的。这个过程称之为集群间的数据流动或数据转移。

现有集群间的数据转移主要是通过人工操作处理的方法来进行的。通过将源集群的数据打包并生成快照，然后人工通过命令的方式将数据快照发送给目标集群并使目标集群开启对外服务，最后，人工通过命令的方式删除源集群中的相关数据来实现集群间的数据转移。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

人工操作过程中，过程比较繁琐；且通过人工操作，可能会由于操作失误，而导致失败发生。

发明内容

有鉴于此，本发明实施例提供一种集群间数据转移的方法和装置，能够解决由于人工操作带来的操作繁琐，易出错等问题，大大提升了运维人员的处理效率。

为实现上述目的，根据本发明实施例的一个方面，提供了一种集群间数据转移的方法。

一种集群间数据转移的方法，包括：通过监控机构建立源集群和目标集群的关联；所述源集群向所述监控机构发送待转移的数据信息；所述目标集群通过所述监控机构获取所述待转移的数据信息，并创建用于保存待转移数据的目标表，将所述目标表信息发送给所述监控机构；所述源集群通过所述监控机构获取所述目标表信息，然后将所述待转移数据发送给所述目标表。

可选地，通过监控机构建立源集群和目标集群的关联包括：通过在所述监控机构上创建第一瞬时节点来标识所述源集群和所述目标集群建立关联。

可选地，所述源集群向所述监控机构发送待转移的数据信息包括：所述源集群通过命令解析器命令或调用对外接口的方式，向所述监控机构发送待转移的数据信息。

可选地，所述源集群向所述监控机构发送待转移的数据信息之后，还包括：所述监控机构创建第二瞬时节点用于保存所述待转移的数据信息，所述待转移的数据信息包括目标集群标识；并且，所述目标集群通过所述监控机构获取所述待转移的数据信息包括：所述目标集群通过监听所述监控机构上与所述目标集群相关的第二瞬时节点以获取所述待转移的数据信息。

可选地，所述源集群将所述待转移数据发送给所述目标表包括：所述源集群通过远程过程调用的方式，将所述待转移数据按照所述源集群与所述目标集群之间的互信协议异步发送给所述目标表。

可选地，所述监控机构监控所述源集群和所述目标集群的状态，以及所述源集群转移的数据位置和所述目标集群接收的数据位置，并且，在数据转移过程中，若发生集群中节点状态异常，则所述监控机构通知发生节点状态异常的集群使用其他节点进行重试。

可选地，所述方法还包括：当数据转移完成后，所述源集群删除所述待转移数据并向所述监控机构上报删除完成信息；所述目标集群通过所述监控机构获取到所述源集群上报的删除完成信息，并提供对所述待转移数据的服务；通过所述监控机构断开所述源集群与所述目标集群的关联。

根据本发明实施例的另一方面，提供了一种集群间数据转移的装置。