[发明专利]数据处理方法及装置、系统、计算机可读存储介质

说明书

一种数据处理方法及装置、系统、计算机可读存储介质，该系统包括：数据节点集群、管理节点和多个代理节点，数据节点集群包括多个存储节点，每个存储节点包括多个存储分片，每个存储分片中存储有至少一种时序数据，每种时序数据对应一种数据对象；管理节点用于获取至少一个聚合任务，向至少一个目标代理节点发送目标聚合任务，目标聚合任务携带目标数据对象；目标代理节点用于根据该目标聚合任务向目标存储节点发送聚合请求，该聚合请求携带目标数据对象；目标存储节点用于根据该聚合请求从目标存储节点的目标存储分片中，并行获取该目标数据对象对应的目标时序数据，对该目标时序数据进行聚合得到聚合时序数据。本申请有助于提高数据处理效率。

技术领域

本申请涉及数据处理领域，特别涉及一种数据处理方法及装置、系统、计算机可读存储介质。

背景技术

时序数据是指按照时间顺序记录的数据，例如，监控系统中按照时间产生的时序数据(例如一天中各个时刻的温度数据)。时序数据具有海量性，其存储成本较高。为了降低时序数据的存储成本，通常对时序数据降精度处理(例如从海量时序数据中提取业务价值较高的时序数据)后进行存储。

相关技术中，可以由Elasticsearch(简称：ES)服务器集群对时序数据进行聚合，以对时序数据进行降精度处理。ES服务器集群包括处理节点和多个存储节点，处理节点可以提供Rollup组件，该Rollup组件可以生成聚合任务，并向多个存储节点发送该聚合任务，该聚合任务携带时序数据的数据对象(例如气温)，存储节点根据该聚合任务对该数据对象对应的时序数据进行单线程聚合(也即是在一部分数据聚合完成后，聚合另一部分数据)，以对该数据对象对应的时序数据降精度处理。

但是，由于在降精度处理的过程中，ES服务器集群中的存储节点对时序数据进行单线程聚合，因此聚合速度较慢，导致数据处理效率较低。

发明内容

本申请实施例提供了一种数据处理方法及装置、系统、计算机可读存储介质，有助于提高聚合速度，数据处理效率较高。所述技术方案如下：

一方面，提供了一种数据处理系统，所述系统包括：数据节点集群、管理节点和多个代理节点，所述数据节点集群包括多个存储节点，每个所述存储节点包括多个存储分片，每个所述存储分片中存储有至少一种时序数据，每种时序数据对应一种数据对象，

所述管理节点用于获取至少一个聚合任务，向至少一个目标代理节点发送目标聚合任务，每个所述聚合任务携带一种数据对象，每个所述聚合任务指示对相应的所述数据对象对应的时序数据进行聚合，所述目标聚合任务为所述至少一个聚合任务中的任一聚合任务，所述目标聚合任务携带目标数据对象，所述目标代理节点为所述多个代理节点中代理所述目标数据对象的代理节点；

所述目标代理节点用于根据所述目标聚合任务向目标存储节点发送所述聚合请求，所述聚合请求携带所述目标数据对象，所述目标存储节点为存储有所述目标数据对象对应的目标时序数据的存储节点；

所述目标存储节点用于根据所述聚合请求从所述目标存储节点的目标存储分片中，并行获取所述目标数据对象对应的所述目标时序数据，对所述目标时序数据进行聚合得到聚合时序数据。

可选地，所述管理节点，还用于根据节点路由表和所述目标聚合任务携带的所述目标数据对象，从所述多个代理节点中确定所述至少一个目标代理节点，所述节点路由表记录有数据对象与代理节点的对应关系；

所述目标存储节点，还用于根据存储路由表和所述聚合请求携带的所述目标数据对象，确定所述目标存储节点中的所述目标存储分片，所述存储路由表记录有数据对象与存储分片的对应关系。

可选地，所述聚合请求包括至少两个子请求，所述至少两个子请求与所述至少两个目标存储分片一一对应，

所述目标代理节点用于通过至少两个线程，并行向所述目标存储节点发送所述至少两个子请求；