[发明专利]数据分流的控制方法及装置、存储介质、电子装置

说明书

本发明提供了一种数据分流的控制方法及装置、存储介质、电子装置，其中，该方法包括：获取单位时间内待分发的业务数据的数据量；根据所述数据量计算用于传输所述业务数据的队列数量；将所述业务数据分发至所述队列数量的队列中，其中，每个队列连通一个队列下游系统。通过本发明，解决了相关技术中无法控制业务数据在队列中的流速的技术问题，提高了业务数据的处理效率。

技术领域

本发明涉及计算机领域，具体而言，涉及一种数据分流的控制方法及装置、存储介质、电子装置。

背景技术

相关技术中，在数据处理的过程中，由于数据分发系统与下游受理系统之间处理能力不对等，经常需要进行数据的控速。此时若数据分发速度过高，则会对下游系统造成较大压力，严重时会引发下游系统宕机而发生故障；而若分发速度过低，则处理时长会较长，可能造成业务失效的影响。比如，平台发奖场景下，原本应当一天内发出的奖品花了两天时间才处理结束，用户未收到奖品下发通知奖品会导致投诉。

相关技术的方案中，在进行数据分流时，为保证数据的传输效率，会采用尽可能多的资源来传输数据，如申请号为CN201510966860的相关技术中，公开了一种业务数据的处理方法和装置，将获取的业务数据尽可能多的分发给处理器进行处理，这样，一方面浪费了传输资源，另一方面也导致了下游系统的不可控性，导致了整个系统的不稳定性。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

本发明实施例提供了一种数据分流的控制方法及装置、存储介质、电子装置。

根据本发明的一个实施例，提供了一种数据分流的控制方法，包括：获取单位时间内待分发的业务数据的数据量；根据所述数据量计算用于传输所述业务数据的队列数量；将所述业务数据分发至所述队列数量的队列中，其中，每个队列连通一个队列下游系统。

可选的，根据所述数据量计算用于传输所述业务数据的队列数量包括：获取所述业务数据在所述队列下游系统的处理速率；将所述数据量除以所述处理速率得到最少队列数量；将所述最少队列数量加上预设缓冲队列数后，得到所述队列数量。

可选的，在获取所述业务数据在队列下游系统的处理速率之前，所述方法还包括：判断所述业务数据是否为首次加载队列；在所述业务数据为首次加载队列时，将所述业务数据分发至一个队列的队列下游系统；在所述业务数据不为首次加载队列时，将所述业务数据分发至历史队列的队列下游系统，其中，所述队列下游系统定时反馈所述业务数据的处理速率，所述历史队列为在当前时间之前传输所述业务数据的队列。

可选的，将所述业务数据分发至所述队列数量的队列中包括：在队列集合中选择所述队列数量个目标队列；将所述业务数据均衡分发至每个目标队列中。

可选的，在队列集合中选择所述队列数量个目标队列包括：确定所述业务数据的业务类型；在所述队列集合中选择所述队列数量个与所述业务类型对应的目标队列。

可选的，在队列集合中选择所述队列数量个目标队列包括：确定所述队列集合中各个队列的优先级；将所述队列集合中优先级最高的所述队列数量个队列确定为目标队列。

可选的，将所述业务数据分发至所述队列数量的队列中包括：判断所述队列数量个目标队列与历史队列是否一致，其中，所述历史队列为在当前时间之前传输所述业务数据的队列；在所述目标队列与历史队列一致时，将所述业务数据分发至所述历史队列，在所述目标队列与历史队列不一致时，将所述历史队列调整为所述目标队列后，将所述业务数据分发至所述目标队列。

可选的，在将所述历史队列调整为所述目标队列之后，所述方法还包括：将所述历史队列未处理完成的剩余数据转移至所述目标队列。