[发明专利]消息延时处理方法和系统

权利要求书

1.一种消息延时处理方法，其特征在于，用于流式数据传输链路中的数据缓冲层，所述方法包括：

向所述数据缓冲层的kafka服务器集群中的多个分区发送多个消息，以将所述多个消息写入到所述kafka服务器集群；

获取所述kafka服务器集群的消息发送情况，所述消息发送情况包括各个分区的响应延时情况；及

当所述多个分区中的目标分区的响应延时情况符合熔断条件，则对所述目标分区进行熔断，并将至少部分超时消息重新发送到所述kafka服务器集群中的其他分区；

其中，所述目标分区为延时比例高于第二阈值的分区。

2.根据权利要求1所述的消息延时处理方法，其特征在于，获取所述kafka服务器集群的消息发送情况，包括：

基于时间滑动窗口的方式，获取当前时间窗口内所述kafka服务器集群的所述消息发送情况。

3.根据权利要求2所述的消息延时处理方法，其特征在于，所述消息发送情况包括：在所述当前时间窗口内是否存在响应时间超过第一阈值的一个或多个超时消息；所述方法还包括：

当在所述当前时间窗口内存在所述一个或多个超时消息，则将所述一个或多个超时消息中的至少部分超时消息重新发送到所述kafka服务器集群中的其他分区中；

其中，所述其他分区与各个超时消息的原发送分区是不同的分区。

4.根据权利要求3所述的消息延时处理方法，其特征在于，

所述至少部分超时消息的数量在第一预定范围之内；或

所述至少部分超时消息的数量和消息总数量之比在第二预定范围之内，所述消息总数量是指在所述当前时间窗口内发送给所述kafka服务器集群的消息的总数量。

5.根据权利要求2所述的消息延时处理方法，其特征在于，所述响应延时情况包括：在所述当前时间窗口内，所述kafka服务器集群中的各个分区的延时比例；当所述多个分区中的目标分区的响应延时情况符合熔断条件，则对所述目标分区进行熔断：

将延时比例高于第二阈值的分区作为所述目标分区，并对所述目标分区进行熔断以暂停消息发送。

6.根据权利要求5所述的消息延时处理方法，其特征在于，

所述延时比例为第一消息数量和第二消息数量之比；

所述第一消息数量为：在所述当前时间窗口内，被发送到相应分区且响应时间超过第三阈值的消息的数量；

所述第二消息数量为：在所述当前时间窗口内，被发送到所述相应分区的消息的总数量。

7.根据权利要求6所述的消息延时处理方法，其特征在于，还包括以预设频率获取所述第三阈值：

实时获取所述kafka服务器集群的响应延时分位线；及

计算所述响应延时分位线和预设容忍因子之乘积，将乘积结果设定为所述第三阈值。

8.根据权利要求1至7任意一项所述的消息延时处理方法，其特征在于，当所述目标分区处于熔断状态时，所述方法还包括：

S1：将其中一批次消息作为当前批次消息发送给所述目标分区，基于这批次消息的发送成功率判断是否发送下一批次消息，这批次消息的初始数据为第一批次消息；

S2：当这批次消息的发送成功率达标，则将所述下一批次消息作为所述当前批次消息并重复执行S1；所述下一批次消息的消息数量大于所这批次消息的消息数量；

S3：当这批次消息的发送成功率不达标，则间隔预定时间将所述下一批次消息作为所述当前批次消息并重复执行S1；所述下一批次消息的消息数量等于所述第一批次消息的消息数量；

循环执行上述操作以逐步恢复向所述目标分区发送消息，直至所述当前批次消息的数量大于或等于预定数量。

9.根据权利要求8所述的消息延时处理方法，其特征在于，还包括：

获取分布式服务协调组件提供的分区黑名单，所述分区黑名单包括所述kafka服务器集群中的多个不可写入分区；及

根据所述分区黑名单确定所述多个分区，所述多个分区为所述kafka服务器集群中除所述多个不可写入分区之外的至少部分分区。