[发明专利]线程分配方法、装置、计算机设备和可读存储介质

说明书

本申请涉及数据处理技术领域，提供了一种线程分配方法、装置、计算机设备和可读存储介质。该方法包括：确定待分配的线程数量和对应的多个消息主题；获取各个所述消息主题的历史流量；根据所述历史流量计算所述消息主题所占的线程比例；以及根据所述线程比例和所述线程数量向所述消息主题分配线程。通过本申请，能够实现线程的均衡分配。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种线程分配方法、装置、计算机设备和可读存储介质。

背景技术

分布式发布订阅消息系统，基于其高吞吐量的数据处理能力，目前使用非常广泛。但发明人研究发现，对于消息队列中的不同消息主题，数据生成能力差异非常大，部分消息主题每分钟可能产生大量的数据，部分消息主题可能在几天之内仅产生几条数据，因此，为消息主题分配合适的线程资源，成为分布式发布订阅消息系统稳定运行关键因素之一，如果线程资源分配不合适，容易造成线程冗余或数据积压。

因此，如何实现消息主题的线程分配，以减少线程资源的浪费以及数据积压问题出现的概率，成为本领域亟需解决的技术问题。

发明内容

本申请的目的是提供一种线程分配方法、装置、计算机设备和可读存储介质，用于解决现有技术中的上述技术问题。

一方面，为实现上述目的，本申请提供了一种线程分配方法。

该线程分配方法包括：确定待分配的线程数量和对应的多个消息主题；获取各个所述消息主题的历史流量；根据所述历史流量计算所述消息主题所占的线程比例；以及根据所述线程比例和所述线程数量向所述消息主题分配线程。

进一步地，待分配的线程数量为m，第i个所述消息主题的历史流量为ti，s＝t1+t2+...+tn，其中，n为所述对应的消息主题的数量，i＝1,2,...,n，则根据所述线程比例和所述待分配的线程数量向所述消息主题分配线程的步骤包括：采用公式(ti/s)*m计算每个消息主题对应的比例积；若所述比例积大于或等于1，则进行一次线程分配，为所述比例积对应的消息主题分配F(x)个线程，其中，F为取整函数，x为所述比例积；以及若所述比例积小于1，则累加多个比例积，直到所述多个比例积的和大于或等于1时进行一次线程分配，为所述多个比例积对应点额所述消息主题共同分配F(y)个线程，其中，y为多个比例积的和。

进一步地，在根据所述线程比例和所述线程数量向所述消息主题分配线程的步骤中，每完成一次线程分配后，返回确定待分配的线程数量和对应的多个消息主题的步骤，重新确定待分配的线程数量和对应的多个消息主题并进行线程分配，以通过迭代的方式将所有线程分配完成和/或为所有消息主题分配线程。

进一步地，每一次迭代时，在根据所述线程比例和所述线程数量向所述消息主题分配线程的步骤中，包括：若存在比例积大于或等于1的消息主题，则先对比例积大于或等于1的消息主题进行线程分配。

进一步地，若存在比例积大于或等于1的消息主题，则先对比例积大于或等于1的消息主题进行线程分配的步骤包括：在所有所述比例积大于或等于的消息主题中，获取比例积最大的消息主题；为所述比例积最大的消息主题进行线程分配。

进一步地，每一次迭代时，在根据所述线程比例和所述线程数量向所述消息主题分配线程的步骤中，包括：若不存在比例积大于或等于1的消息主题，将所有所述消息主题按照比例积由小到大的顺序排序，得到消息主题队列；其中，在累加多个比例积时，按照所述消息主题队列中的次序依次累加对应的比例积。

进一步地，每一次迭代时，在根据所述线程比例和所述线程数量向所述消息主题分配线程的步骤中，包括：若不存在比例积大于或等于1的消息主题，将所有所述消息主题按照是否处于同一消费组进行分组；其中，在累加多个比例积时，针对属于同一所述消费组中的消息主题累加对应的比例积。

另一方面，为实现上述目的，本申请提供了一种线程分配装置。