[发明专利]基于网页界面的跨集群数据迁移方法和装置

说明书

本公开提供了一种基于网页界面的跨集群数据迁移方法，包括：响应于用户请求，展示网页界面，网页界面中包括迁移信息输入框、执行迁移按钮和结果展示框，响应于用户触发执行迁移按钮，从迁移信息输入框中获取源数据库集群信息、目标数据库集群信息以及表名称信息，基于源数据库集群信息、目标数据库集群信息以及表名称信息，确定源数据表和目标数据表，以及将源数据表中的数据迁移至目标数据表中，并在结果展示框中展示源数据表中的数据的迁移进度。

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种基于网页界面的跨集群数据迁移方法、装置、计算机系统和计算机可读介质。

背景技术

随着网络时代的快速发展，大数据越来越多地应用于工作和生活等诸多场景，为了更好的存储大数据，各种各样的数据库应运而生。例如，Hbase数据库是一种高可靠性、高性能、面向列、可伸缩的分布式列式存储系统。利用Hbase技术可以在服务器上搭建大规模结构化的存储集群，由于Hbase技术在处理大数据问题上具有较大的优势，越来越多地企业机构选用Hbase数据库集群对数据进行存储和处理。

在实现本发明构思的过程中，发明人发现相关技术中至少存在如下问题：对于数据库的操作通常需要业务人员熟练掌握数据库的使用语句，对业务人员的技术背景要求过高，且操作不够便捷。

发明内容

有鉴于此，本公开提供了一种基于网页界面的跨集群数据迁移方法、装置、计算机系统和计算机可读介质。

本公开的一个方面提供了一种基于网页界面的跨集群数据迁移方法，包括：响应于用户请求，展示网页界面，所述网页界面中包括迁移信息输入框、执行迁移按钮和结果展示框，响应于用户触发所述执行迁移按钮，从所述迁移信息输入框中获取源数据库集群信息、目标数据库集群信息以及表名称信息，基于所述源数据库集群信息、目标数据库集群信息以及表名称信息，确定源数据表和目标数据表，以及将所述源数据表中的数据迁移至所述目标数据表中，并在所述结果展示框中展示所述源数据表中的数据的迁移进度。

根据本公开的实施例，所述将所述源数据表中的数据迁移至所述目标数据表中，包括：从所述源数据表中读取数据并写入中间节点中，以及从所述中间节点中读取数据并写入目标数据表中。

根据本公开的实施例，所述从所述中间节点中读取数据并写入目标数据表中，包括：按行读取所述中间节点中的数据，基于所述目标数据表的表结构对读取的每行数据进行校验，以及将通过所述校验的数据写入所述目标数据表中。

根据本公开的实施例，所述将通过所述校验的数据写入所述目标数据表中，包括：将通过所述校验的数据存储在至少一个分组中，将所述至少一个分组中的数据写入所述目标数据表中。

根据本公开的实施例，通过多个校验线程中的每个校验线程并发执行：所述按行读取所述中间节点中的数据，基于所述目标数据表的表结构对读取的每行数据进行校验，将通过所述校验的数据存储在至少一个分组中的操作。

根据本公开的实施例，所述将所述至少一个分组中的数据写入所述目标数据表中，包括：通过至少一个入库线程将所述至少一个分组中的数据导入所述目标数据表的接口，通过所述接口将所述通过校验的数据写入所述目标数据表中。

根据本公开的实施例，其中，所述网页界面中还包括迁移秘钥输入框。所述方法还包括：对所述迁移秘钥输入框中的秘钥进行校验，在所述秘钥通过校验的情况下，将所述源数据表中的数据迁移至所述目标数据表中。

根据本公开的实施例，所述迁移进度包括以下至少一种：所述源数据表中的数据总行数，已完成迁移的数据行数，迁移失败的数据行数，已执行时长，或者剩余执行时长。