[发明专利]数据处理方法及系统

说明书

本申请公开了一种数据处理方法及系统，该方法应用于数据处理系统，该方法包括：在监测器监测到来自第一数据传输管道的数据的处理性能低于第一阈值的条件下，运算节点向控制节点发送报警信号，报警信号用于提示来自第一数据传输管道的数据的处理性能过低；第一数据传输管道是多个数据传输管道中的任一个数据传输管道；在接收到报警信号的条件下，控制节点降低分配给运算节点的来自第一数据传输管道的数据量。上述方案可以减少进行流控时数据处理系统的处理性能波动。

技术领域

本发明实施例涉及信息技术领域，尤其涉及一种数据处理方法、设备及系统。

背景技术

在当前的信息时代中，人们共享丰富的信息资源的同时，也时常会出现“信息过载”甚至“信息爆炸”的问题。对海量的数据进行处理时，如果数据传输速度发生波动，例如数据传输速度剧增的情况下，数据处理器无法承载短时间内剧增的数据，导致数据处理器中数据拥塞，数据处理系统性能下降，从而降低了系统的数据处理速度(transactions persecond，TPS)。

为提高系统的数据处理速度，可以在系统中设置性能监测器。当性能监测器监测到系统运行达到告警条件时，发出系统告警信号，以使系统进行数据流控操作，降低数据传输的速度来减少数据拥塞。然而，在进行数据流控操作时，对整个系统的数据均进行流控，来自不同分区的数据均会受到流控操作的影响，从而产生数据处理系统的处理性能波动。

发明内容

本申请实施例提供一种数据处理方法及系统，在不同的数据传输管道分别进行数据处理性能监测，处理性能监测的粒度更细。监测到某一数据传输管道内的数据的处理性能较低的情况下，仅对该数据传输管道内的数据进行流控，而不影响其他数据传输管道内的数据的流量，从而可以减少进行流控时来自不同分区的数据的流量均减少的情况，可以减少进行流控时数据处理系统的处理性能波动。

第一方面，本申请实施例提供了一种数据处理方法，所述方法应用于数据处理系统，所述数据处理系统包括：控制节点和运算节点；其中，所述控制节点与所述运算节点之间建立有多个数据传输管道，所述控制节点通过所述多个数据传输管道将接收到的数据传输给所述运算节点，所述数据处理系统中针对来自所述多个数据传输管道设置监测器；所述方法包括：在所述监测器监测到来自所述第一数据传输管道的数据的处理性能低于第一阈值的条件下，所述运算节点向所述控制节点发送报警信号，所述报警信号用于提示来自所述第一数据传输管道的数据的处理性能过低；所述第一数据传输管道是所述多个数据传输管道中的任一个数据传输管道；在接收到所述报警信号的条件下，所述控制节点降低分配给所述运算节点的来自所述第一数据传输管道的数据量。

在不同的数据传输管道分别进行数据处理性能监测，数据处理性能监测的粒度更细，监测到某一数据传输管道内的数据的处理性能较低的情况下，仅对该数据传输管道内的数据进行流控，而不影响其他数据传输管道内的数据的流量，从而可以减少进行流控时不同分区的数据的流量均减少的情况，可以减少进行流控时数据处理系统的处理性能波动。

在一个实施例中，所述监测器用于监测来自所述多个数据传输管道的数据处理性能，具体包括：所述监测器用于针对来自每一个数据传输管道的数据，执行以下至少一项：监测所述运算节点的数据处理速度；监测所述运算节点进行处理的响应速度。

可选的，所述运算节点包含所述监测器。

可选的，所述控制节点包含所述监测器。

在一个实施例中，所述在所述监测器监测到来自所述第一数据传输管道的数据的处理性能低于第一阈值的条件下，所述运算节点向所述控制节点发送报警信号，包括：在所述监测器监测到来自所述第一数据传输管道中的数据的处理速度低于第二阈值的条件下，所述运算节点向所述控制节点发送报警信号。