[发明专利]基于消息队列的数据处理方法、装置、计算机设备和介质

权利要求书

1.一种基于消息队列的数据处理方法，其特征在于，包括：

确定消息队列中消息主题对应线程的消费速率阈值；

每间隔预设检查周期，计算所述消息主题当前的数据积压量和数据消费速率；

若所述数据积压量达到预设积压量阈值，且所述数据消费速率达到利用所述消费速率阈值设置的阈值条件时，根据所述数据积压量、所述消费速率阈值和所述检查周期计算增加线程量；以及

根据所述增加线程量调整所述消息主题的线程分配量。

2.根据权利要求1所述的基于消息队列的数据处理方法，其特征在于，还包括：

若所述数据积压量大于0且未达到所述积压量阈值，更新所述消息主题对应的积压时间；

每间隔所述检查周期，获取所述积压时间；

若所述积压时间达到预设积压时间阈值时，根据所述数据积压量、所述消费速率阈值和所述检查周期计算所述增加线程量，其中，所述检查周期小于所述积压时间阈值。

3.根据权利要求1所述的基于消息队列的数据处理方法，其特征在于，采用以下公式根据所述数据积压量、所述消费速率阈值和所述检查周期计算所述增加线程量：

at＝ceil(on/p/ms)

其中，at为所述增加线程量，on为所述数据积压量，p为所述检查周期，ms为所述消费速率阈值，ceil为向下取整函数。

4.根据权利要求1所述的基于消息队列的数据处理方法，其特征在于，确定消息队列中消息主题对应线程的消费速率阈值的步骤包括：

在所述消息队列的测试主题中写入满足测试量的测试数据；

订阅所述测试主题，以使所述线程消费所述测试数据；

记录所述线程的消费完成时间；以及

根据所述测试量和所述消费完成时间，确定所述消费速率阈值。

5.根据权利要求1所述的基于消息队列的数据处理方法，其特征在于，计算所述消息主题的数据积压量和所述数据消费速率的步骤包括：

在所述消息队列中记录所述消息主题的总数据量；

记录所述消息主题对应的消费偏移量；

计算所述总数据量与所述消费偏移量的差，以得到所述数据积压量；

根据所述消费偏移量计算当前时间前预设时长内的消费偏移量增量；以及

根据所述消费偏移量增量和所述预设时长计算所述数据消费速率。

6.根据权利要求1或2所述的基于消息队列的数据处理方法，其特征在于，还包括：

在所述消息主题的线程分配量发生变化时，存储所述线程分配量；

每间隔所述检查周期，获取当前的所述线程分配量，并计算当前需要的目标线程量；

根据所述线程分配量与所述目标线程量的关系，更新所述消息主题对应的空闲时间；

当所述空闲时间达到预设空闲阈值时，根据当前的所述目标线程量和所述线程分配量，计算回收线程量；

根据所述回收线程量调整所述消息主题的线程分配量。

7.根据权利要求6所述的基于消息队列的数据处理方法，其特征在于，采用以下公式计算当前实际需要的目标线程量：

nt＝ceil(cs*p/ms)

其中，nt为所述目标线程量，cs为所述数据消费速率，p为所述检查周期，ms为所述消费速率阈值，ceil为向下取整函数。

8.根据权利要求6所述的基于消息队列的数据处理方法，其特征在于，

根据所述线程分配量与所述目标线程量的关系，更新所述消息主题对应的空闲时间的步骤包括：当所述线程分配量小于所述目标线程量时，更新线程空闲消息主题队列中，所述消息主题对应的空闲时间，当所述线程分配量小于或等于所述目标线程量，且所述消息主题位于所述线程空闲消息主题队列中时，从所述线程空闲消息主题队列中删除所述消息主题；

在根据所述增加线程量调整所述消息主题的线程分配量的步骤之后，所述方法还包括：将数据积压消息主题队列中所述消息主题对应的积压时间置为0；

更新所述消息主题对应的积压时间的步骤包括：更新所述数据积压消息主题队列中所述消息主题对应的积压时间。