[发明专利]基于分布式系统的数据同步方法、系统、设备及存储介质

权利要求书

1.一种基于分布式系统的数据同步方法，其特征在于，所述方法包括运行Shell脚本将Hive数据库的数据同步至ClickHouse数据库中，所述Shell脚本中配置有目标ClickHouse表、源Hive表和ClickHouse配置信息，所述ClickHouse配置信息包括ClickHouse数据库所在目标服务器的地址和访问账号信息；

所述运行Shell脚本将Hive数据库的数据同步至ClickHouse数据库中，包括如下步骤：

从Hive数据库的源Hive表中获取待同步数据的文件路径；

将所述待同步数据的文件路径存储于Shell数组中；

根据所述Shell数组中的文件路径将源Hive表中的待同步数据同步至ClickHouse数据库的目标ClickHouse表中，包括：根据ClickHouse配置信息访问ClickHouse数据库，将源Hive表中的待同步数据同步至ClickHouse数据库的目标ClickHouse表中。

2.根据权利要求1所述的基于分布式系统的数据同步方法，其特征在于，将所述待同步数据的文件路径存储于Shell数组中，包括如下步骤：

根据预设的并行度参数，确定每个批次同步的文件数量；

将每个批次同步的文件路径存储于Shell数组中。

3.根据权利要求2所述的基于分布式系统的数据同步方法，其特征在于，所述将源Hive表中的待同步数据同步至ClickHouse数据库的目标ClickHouse表中，包括如下步骤：

将源Hive表中的每个批次的待同步数据并行同步至ClickHouse数据库的目标ClickHouse表中。

4.根据权利要求1所述的基于分布式系统的数据同步方法，其特征在于，所述运行Shell脚本将Hive数据库的数据同步至ClickHouse数据库中之前，还包括如下步骤：

配置Hive引擎和ClickHouse引擎；

上传Shell脚本；

在Shell脚本中配置目标ClickHouse表和源Hive表。

5.根据权利要求4所述的基于分布式系统的数据同步方法，其特征在于，所述上传Shell脚本之后，还包括如下步骤：

在所述Shell脚本中设置ClickHouse配置信息。

6.根据权利要求4所述的基于分布式系统的数据同步方法，其特征在于，所述上传Shell脚本之后，还包括如下步骤：

在所述Shell脚本中配置并行度参数。

7.一种基于分布式系统的数据同步系统，用于实现权利要求1至6中任一项所述的基于分布式系统的数据同步方法，其特征在于，所述系统包括：

路径获取模块，用于从Hive数据库的源Hive表中获取待同步数据的文件路径；

路径存储模块，用于将所述待同步数据的文件路径存储于Shell数组中；

数据同步模块，用于根据所述Shell数组中的文件路径将源Hive表中的待同步数据同步至ClickHouse数据库的目标ClickHouse表中。

8.一种基于分布式系统的数据同步设备，其特征在于，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至6中任一项所述的基于分布式系统的数据同步方法的步骤。

9.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至6中任一项所述的基于分布式系统的数据同步方法的步骤。