[发明专利]基于分布式流计算的背压处理方法和系统

说明书

本发明涉及一种基于分布式流计算的背压处理方法和系统，该方法包括：接收上游计算节点发送的流数据并存储于流数据池中，流数据池中的流数据在本地进行流计算时被消耗；统计流数据池中的流数据占流数据池的总容量的数据占比；若统计的数据占比大于或等于第一阈值，则执行增加背压标记的操作；增加背压标记的操作用于使上游计算节点降低流数据发送速率；若统计的数据占比小于或等于第二阈值，则执行删除背压标记的操作；第二阈值小于第一阈值；删除背压标记的操作用于使上游计算节点提高流数据发送速率。本发明提供的基于分布式流计算的背压处理方法和系统，可以克服背压问题并保证流计算效率。

技术领域

本发明涉及分布式流计算技术领域，特别是涉及一种基于分布式流计算的背压处理方法和系统。

背景技术

流计算或者流式计算是一种高效的数据处理方式，数据以流的形式产生并传输，不需要存储到磁盘等持久化介质，数据消费者在数据产生后尽快对其进行计算，通常用于时延敏感型的计算任务。分布式流计算系统是用于执行流计算任务的系统，分布式流计算系统中包括多级计算节点，流计算所需的流数据逐级流经各级计算节点并由流经的计算节点进行流计算，其中每级计算节点可以包括一个或多个并行的计算节点。

然而，目前分布式流计算系统会存在背压问题，其中背压问题是指分布式流计算系统接收数据的速率高于其在一个瞬时脉冲内能处理的数据。背压问题如果不能及时解决，可能会导致资源耗尽或者甚至导致数据丢失。目前解决背压问题主要是数据压力达到一定程度时通知数据源暂时关闭数据流，影响了参与分布式流计算的所有计算节点，影响了分布式流计算的效率。

发明内容

基于此，有必要针对目前解决背压问题时暂时关闭数据源影响流计算效率的技术问题，提供一种基于分布式流计算的背压处理方法和系统。

一种基于分布式流计算的背压处理方法，包括：

接收上游计算节点发送的流数据并存储于流数据池中，所述流数据池中的流数据在本地进行流计算时被消耗；

统计所述流数据池中的流数据占所述流数据池的总容量的数据占比；

若统计的所述数据占比大于或等于第一阈值，则执行增加背压标记的操作，调高所述第一阈值；所述增加背压标记的操作用于使所述上游计算节点降低流数据发送速率；

若统计的所述数据占比小于或等于所述第二阈值，则执行删除所述背压标记的操作，调低所述第一阈值；所述第二阈值小于所述第一阈值；所述删除所述背压标记的操作用于使所述上游计算节点提高流数据发送速率。

一种基于分布式流计算的背压处理系统，其特征在于，所述系统包括并行的计算节点和与所述并行的计算节点对应的上游计算节点；

所述上游计算节点用于向所述并行的计算节点发送流数据；

所述并行的计算节点用于接收所述上游计算节点发送的流数据并存储于流数据池中，所述流数据池中的流数据在本地进行流计算时被消耗；统计所述流数据池中的流数据占所述流数据池的总容量的数据占比；若统计的所述数据占比大于或等于第一阈值，则执行增加背压标记的操作，调高所述第一阈值；若统计的所述数据占比小于或等于所述第二阈值，则执行删除所述背压标记的操作，调低所述第一阈值；所述第二阈值小于所述第一阈值；

所述上游计算节点用于根据增加的所述背压标记降低流数据发送速率，根据删除的所述背压标记提高流数据发送速率。

上述基于分布式流计算的背压处理方法和系统，利用较高的第一阈值和较低的第二阈值，当数据占比大于或等于第一阈值时，说明可能会导致背压问题，此时执行增加背压标记的操作，使得上游计算节点降低流数据发送速率，从而缓解数据压力，克服背压问题，并保证流计算能够持续进行。当数据占比小于或等于第二阈值时，则说明当前数据压力小，产生背压问题的可能性非常小，执行删除背压标记的操作，使得上游计算节点提高流数据发送速率，从而提高流计算的效率。

附图说明