[发明专利]一种分布式处理系统、数据处理的方法及设备

说明书

本发明公开了一种分布式处理系统、数据处理的方法及设备。分布式处理系统包括控制节点、第一计算节点和第二计算节点，控制节点获取待处理特性数据的类型和特性标识，类型用于标识待处理特性数据的归属计算节点，归属计算节点为第一计算节点或第二计算节点；控制节点根据特性标识，确定进程索引信息，控制节点根据进程索引信息，向归属计算节点的处理进程调度待处理特性数据的数据索引信息或者待处理特性数据，数据索引信息用于归属计算节点获取待处理特性数据，以使归属计算节点处理待处理特性数据。本发明实施例提供的一种分布式处理系统、数据处理的方法及设备，通过分布式的处理方式完成特性数据的计算，从而缩短了处理时间。

技术领域

本发明涉及计算机技术领域，具体涉及一种分布式处理系统、数据处理的方法及设备。

背景技术

维度是指监控对象的某一个属性，可以是地区、机房、运营商，也可以是接口和错误码等。

特性是指一种或者多种维度的组合所对应的某个指标。

特性树主要是指根据业务需求，把监控粒度较小的监控对象按照不同的规则逐层汇聚成粒度较大的监控对象的过程中，由所有参与的监控对象和关系所组成的一张有向图。

特性树的计算主要是指一分钟内把特性树的下层特性数据按不同的方式，例如：求和、求平均或求商等逐层汇聚成上层特性数据的处理过程。

现有技术下，针对特性数据的处理过程主要是通过单台机器预先负责把所有特性数据生成一颗颗的特性树，然后再以特性树为单位进行计算，该方案面临处理时间长、单机性能有限和特性更新速度缓慢等问题。

发明内容

为了解决现有技术特性树的处理方案中，处理时间长而且单机性能有限的问题，本发明实施例提供一种分布式处理系统、数据处理的方法及设备，通过分布式的处理方式，不需要构建特性树，就可以完成特性数据的计算，从而缩短了处理时间，而且不需要将特性树放在一个单机上进行处理，克服了单机性能有限的问题。

本发明第一方面提供一种分布式处理系统，包括：控制节点、第一计算节点和第二计算节点，所述第一计算节点用于处理终端上报的特性数据和所述控制节点分配的特性数据，所述第二计算节点用于处理所述第一计算节点产生的特性数据和所述控制节点分配的特性数据；

所述控制节点获取待处理特性数据的类型和特性标识，所述类型用于标识所述待处理特性数据的归属计算节点，所述归属计算节点为所述第一计算节点或所述第二计算节点；

所述控制节点根据所述特性标识，确定进程索引信息，所述进程索引信息用于指示所述待处理特性数据在所述归属计算节点上所属的处理进程；

所述控制节点根据所述进程索引信息，向所述归属计算节点的所述处理进程调度所述待处理特性数据的数据索引信息或者所述待处理特性数据，所述数据索引信息用于所述归属计算节点获取所述待处理特性数据；

所述归属计算节点处理所述待处理特性数据，得到处理后的特性数据。

本发明第二方面提供一种数据处理的方法，所述方法应用于分布式处理系统，所述分布式处理系统包括控制节点、第一计算节点和第二计算节点，所述第一计算节点用于处理终端上报的特性数据和所述控制节点分配的特性数据，所述第二计算节点用于处理所述第一计算节点产生的特性数据和所述控制节点分配的特性数据，所述方法包括：

所述控制节点获取待处理特性数据的类型和特性标识，所述类型用于标识所述待处理特性数据的归属计算节点，所述归属计算节点为所述第一计算节点或所述第二计算节点；

所述控制节点根据所述特性标识，确定进程索引信息，所述进程索引信息用于指示所述待处理特性数据在所述归属计算节点上所属的处理进程；