[发明专利]提升ClickHouse数据入库性能的方法及装置

权利要求书

1.提升ClickHouse数据入库性能的方法，其特征在于，该方法包括：

在生产集群之外，构建一个小型的临时集群，保持生产集群的节点数是临时集群的节点数的整数倍；

通过统一的入口程序，将数据写入生产集群的数据表；在配置文件配置临时集群和生产集群的连接信息；

查询生产集群的元数据信息；

在临时集群创建中间表；

将数据以轮询或者随机的方式写入临时集群创建的中间表；

执行数据片段的合并；

打包数据文件；

将文件传输至生产集群；

刷新生产集群的元数据信息。

2.根据权利要求1所述的提升ClickHouse数据入库性能的方法，其特征在于，所述连接信息包括：集群的主机名、端口和账号。

3.根据权利要求1所述的提升ClickHouse数据入库性能的方法，其特征在于，查询生产集群的元数据信息，包括：

根据ClickHouse提供的API，在程序中查看生产集群的数据表，获取最新的数据表的schema信息；

在临时集群创建表，该表的schema信息与生产集群的数据表的schema信息保持一致。

4.根据权利要求1所述的提升ClickHouse数据入库性能的方法，其特征在于，在临时集群创建中间表，包括：

从生产集群的system.cluster表根据节点和副本信息，确定每个分片的节点的数量；

从临时集群的system.cluster表获取节点的数量；

创建中间表的数量为：生产集群每个分片的节点的数量/临时集群节点的数量；

创建的中间表的命名规则：以生产集群的数据表为前缀，从0开始编号创建的中间表。

5.根据权利要求1所述的提升ClickHouse数据入库性能的方法，其特征在于，将数据以轮询或者随机的方式写入临时集群创建的中间表，包括：

读取数据，将数据以轮询或者随机的方式写入临时集群创建的中间表，确保每张中间表的数据保持均衡。

6.根据权利要求1所述的提升ClickHouse数据入库性能的方法，其特征在于，执行数据片段的合并，包括：

在程序中，读取元数据表，获取临时集群每个节点的主机信息，在程序后台通过SSH协议登陆至每台主机，执行数据小文件的合并。

7.根据权利要求6所述的提升ClickHouse数据入库性能的方法，其特征在于，执行数据小文件的合并，包括：

通过Clickhouse的API主动触发合并，将多个小文件合并为大文件。

8.根据权利要求1所述的提升ClickHouse数据入库性能的方法，其特征在于，打包数据文件，包括：

在程序中，读取元数据表，获取临时集群每个节点的主机信息，在程序后台通过SSH协议登陆至每台主机，执行打包操作；

数据插入完成后，打包；

通过在程序中调用SSH的登陆命令，连接到临时集群的每台主机上，在临时集群创建的中间表所在的数据目录下，按照数据片段的目录进行打包，用于传送至生产集群。

9.根据权利要求1所述的提升ClickHouse数据入库性能的方法，其特征在于，将文件传输至生产集群，包括：

在程序中，读取元数据表，获取临时集群每个节点的主机信息，在程序后台通过SSH协议登陆至每台主机，执行文件的传输；

在临时集群的每个节点上，将临时集群形成的压缩文件，按照轮询的方式传输给生产集群的每个分片的节点。

将文件传输至生产集群的数据表目录下的detached目录中，并进行解压。