[发明专利]大数据处理方法、装置、存储介质及处理器

说明书

本发明实施例提供一种大数据处理方法、装置、处理器及存储介质。方法包括：创建列式数据库集群，列式数据库为clickhouse；启动列式数据库的服务，并对集群进行部署配置；将产生的业务数据通过列式数据库集群的预设通道发送至对应的服务器；获取各个列式数据库的地址；根据预设业务规则在列式数据库中分别建立对应的数据表；根据地址将服务器上的业务数据分别存储至与地址对应的列式数据库的数据表中，能够实现动态的，实时的秒级别查询海量数据，同时保证大数据量分析不影响各类服务设备的正常运行，并能够及时的进行数据监控。

技术领域

本发明涉及计算机技术领域，具体地涉及一种大数据处理方法、装置、存储介质及处理器。

背景技术

目前各行各业数据量日益剧增，数据存储的格式、设备等多种多样。然而，传统的数据管理存储方式已无法满足现在海量数据的读取和分析要求，也无法对海量数据进行数据分析。

发明内容

本发明实施例的目的是提供一种大数据处理方法、装置、存储介质及处理器。

为了实现上述目的，本发明第一方面提供一种大数据处理方法，包括：

创建列式数据库集群，所述列式数据库为clickhouse；

启动所述列式数据库的服务，并对所述集群进行部署配置；

将产生的业务数据通过所述列式数据库集群的预设通道发送至对应的服务器；

获取各个列式数据库的地址；

根据预设业务规则在所述列式数据库中分别建立对应的数据表；

根据所述地址将所述服务器上的业务数据分别存储至与所述地址对应的列式数据库的数据表中。

在本发明的实施例中，创建列式数据库集群包括：获取多个集群节点的节点信息；根据所述节点信息搭建完全分布式系统和分布式消息系统；对所述完全分布式系统和分布式消息系统进行环境配置。

在本发明的实施例中，将产生的业务数据通过所述列式数据库集群的预设通道发送至对应的服务器包括：获取所述业务数据的数量；根据所述业务数据的数量确定所述预设通道的开启数量。

在本发明的实施例中，方法还包括：在所述启动所述列式数据库的服务，并对所述集群进行部署配置之后，通过分布式处理引擎对所述业务数据进行数据消费，所述数据消费包括过滤算子、数据加工算子和写入算子中的至少一种。

在本发明的实施例中，获取各个列式数据库的地址包括：获取域名链接分布式表以获取到各个列式数据库的地址；或通过Nginx进程获取所述列式数据库集群的IP列表，以获取到各个列式数据库的地址。

在本发明的实施例中，根据所述地址分别将所述服务器上的业务数据存储至与所述地址对应的列式数据库的数据表中包括：将所述服务器上的业务数据存储至临时分区目录；将所述业务数据从所述临时分区目录中批量写入与所述地址对应的列式数据库的数据表中。

在本发明的实施例中，方法还包括：根据业务流程确定所述业务数据的查询规则；根据所述查询规则设置所述业务数据的排序字段；所述根据所述地址将所述服务器上的业务数据分别存储至与所述地址对应的列式数据库的数据表中包括：根据所述地址分别将所述服务器上的业务数据按照所述排序字段的先后顺序存储至与所述地址对应的列式数据库的数据表中。

本发明第二方面提供一种大数据处理装置，包括：

集群创建模块，用于创建列式数据库集群，所述列式数据库为clickhouse；启动所述列式数据库的服务，并对所述集群进行部署配置；

第一数据模块，用于将产生的业务数据通过所述列式数据库集群的预设通道发送至对应的服务器；获取各个列式数据库的地址；