[发明专利]大数据处理方法、装置、存储介质及处理器

权利要求书

1.一种大数据处理方法，其特征在于，包括：

创建列式数据库集群，所述列式数据库为clickhouse；

启动所述列式数据库的服务，并对所述集群进行部署配置；

将产生的业务数据通过所述列式数据库集群的预设通道发送至对应的服务器；

获取各个列式数据库的地址；

根据预设业务规则在所述列式数据库中分别建立对应的数据表；

根据所述地址将所述服务器上的业务数据分别存储至与所述地址对应的列式数据库的数据表中。

2.根据权利要求1所述的大数据处理方法，其特征在于，所述创建列式数据库集群包括：

获取多个集群节点的节点信息；

根据所述节点信息搭建完全分布式系统和分布式消息系统；

对所述完全分布式系统和分布式消息系统进行环境配置。

3.根据权利要求1所述的大数据处理方法，其特征在于，所述将产生的业务数据通过所述列式数据库集群的预设通道发送至对应的服务器包括：

获取所述业务数据的数量；

根据所述业务数据的数量确定所述预设通道的开启数量。

4.根据权利要求1所述的大数据处理方法，其特征在于，所述方法还包括：

在所述启动所述列式数据库的服务，并对所述集群进行部署配置之后，通过分布式处理引擎对所述业务数据进行数据消费，所述数据消费包括过滤算子、数据加工算子和写入算子中的至少一种。

5.根据权利要求1所述的大数据处理方法，其特征在于，所述获取各个列式数据库的地址包括：

获取域名链接分布式表以获取到各个列式数据库的地址；或

通过Nginx进程获取所述列式数据库集群的IP列表，以获取到各个列式数据库的地址。

6.根据权利要求1所述的大数据处理方法，其特征在于，所述根据所述地址分别将所述服务器上的业务数据存储至与所述地址对应的列式数据库的数据表中包括：

将所述服务器上的业务数据存储至临时分区目录；

将所述业务数据从所述临时分区目录中批量写入与所述地址对应的列式数据库的数据表中。

7.根据权利要求1所述的大数据处理方法，其特征在于，所述方法还包括：

根据业务流程确定所述业务数据的查询规则；

根据所述查询规则设置所述业务数据的排序字段；

所述根据所述地址将所述服务器上的业务数据分别存储至与所述地址对应的列式数据库的数据表中包括：

根据所述地址分别将所述服务器上的业务数据按照所述排序字段的先后顺序存储至与所述地址对应的列式数据库的数据表中。

8.一种大数据处理装置，其特征在于，包括：

集群创建模块，用于创建列式数据库集群，所述列式数据库为clickhouse；启动所述列式数据库的服务，并对所述集群进行部署配置；

第一数据模块，用于将产生的业务数据通过所述列式数据库集群的预设通道发送至对应的服务器；获取各个列式数据库的地址；

数据表建立模块，用于根据预设业务规则在所述列式数据库中分别建立对应的数据表；

第二数据模块，用于根据所述地址分别将所述服务器上的业务数据存储至与所述地址对应的列式数据库的数据表中。

9.一种机器可读存储介质，该机器可读存储介质上存储有指令，其特征在于，该指令在被处理器执行时使得所述处理器被配置成执行根据权利要求1至7中任一项所述的大数据处理方法。

10.一种处理器，其特征在于，被配置成执行根据权利要求1至7中任意一项所述的大数据处理方法。