[发明专利]消息延时处理方法和系统

说明书

本申请提供了一种消息延时处理方法，所述方法包括：向服务器集群中的多个分区发送多个消息；获取所述服务器集群的消息发送情况，所述消息发送情况包括各个分区的响应延时情况；及当所述多个分区中的目标分区的响应延时情况符合熔断条件，则对所述目标分区进行熔断。在本申请中，可以根据各个分区的响应延时情况，主动地对不符合要的分区进行熔断操作，避免后续延时问题。

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种消息延时处理方法、系统、计算机设备及计算机可读存储介质。

背景技术

当前的流式消息延时处理系统一般由消息延时处理层(如网关)、数据缓冲层、数据分发层(controller)和数据存储终端构成。当数据源有数据上报时，所述数据源会将上报数据经由消息延时处理层、所述数据缓冲层、所述数据分发层最终流入到所述数据存储终端。

随着用户数量的急速增长，数据量也随之急速增长。例如，每天可能产生PB级别的数据量，数据缓冲层为处理这些消息，可能需要上千台服务器，上万个Topic(主题)。在现有技术中，将大量数据发送到数据缓冲层过程中，可能会产生较为严重的延时，尤其在数据缓冲层处于高负载状态时。上述延时会导致数据发送效率低下。

发明内容

本申请实施例的目的是提供一种消息延时处理方法、系统、计算机设备及计算机可读存储介质，可以用于解决以下问题：延时导致的数据发送效率低下的问题。

本申请实施例的一个方面提供了一种消息延时处理方法，所述方法包括：向服务器集群中的多个分区发送多个消息；获取所述服务器集群的消息发送情况，所述消息发送情况包括各个分区的响应延时情况；及当所述多个分区中的目标分区的响应延时情况符合熔断条件，则对所述目标分区进行熔断。

可选的，获取所述服务器集群的消息发送情况，包括：基于时间滑动窗口的方式，获取当前时间窗口内所述服务器集群的所述消息发送情况。

可选的，所述消息发送情况包括：在所述当前时间窗口内是否存在响应时间超过第一阈值的一个或多个超时消息；所述方法还包括：当在所述当前时间窗口内存在所述一个或多个超时消息，则将所述一个或多个超时消息中的至少部分超时消息重新发送到所述服务器集群中的其他分区中；其中，所述其他分区与各个超时消息的原发送分区是不同的分区。

可选的，所述至少部分超时消息的数量在第一预定范围之内；或所述至少部分超时消息的数量和消息总数量之比在第二预定范围之内，所述消息总数量是指在所述当前时间窗口内发送给所述服务器集群的消息的总数量。

可选的，所述响应延时情况包括：在所述当前时间窗口内，所述服务器集群中的各个分区的延时比例；当所述多个分区中的目标分区的响应延时情况符合熔断条件，则对所述目标分区进行熔断：将延时比例高于第二阈值的分区作为所述目标分区，并对所述目标分区进行熔断以暂停消息发送。

可选的，所述延时比例为第一消息数量和第二消息数量之比；所述第一消息数量为：在所述当前时间窗口内，被发送到所述相应分区且响应时间超过第三阈值的消息的数量；所述第二消息数量为：在所述当前时间窗口内，被发送到所述相应分区的消息的总数量。

可选的，还包括以预设频率获取所述第三阈值：实时获取所述服务器集群的响应延时分位线；及计算所述响应延时分位线和预设容忍因子之乘积，将乘积结果设定为所述第三阈值。