[发明专利]资源配置方法、装置、介质和计算设备

说明书

本公开的实施方式提供了一种资源配置方法。该方法包括：获取待执行任务读取的多个消息群以及执行所述待执行任务的分布式系统的历史网络参数，所述消息群包括多个消息单元；根据所述历史网络参数确定各个所述消息单元被处理所需的单位资源的第一数量；根据各个所述消息单元被处理所需的单位资源的第一数量，为所述分布式系统的各个工作节点分配对应的消息单元，其中，分配至所述工作节点的各个所述消息单元被处理所需的单位资源的第一数量之和，小于或等于所述工作节点的单位资源的数量。本公开，无需手动调节消息单元分配，缩短了流任务的执行时长，提高了流任务的执行效率。此外，本公开的实施方式提供了一种资源配置装置、介质和计算设备。

技术领域

本公开的实施方式涉及分布式系统领域，更具体地，本公开的实施方式涉及资源配置方法、装置、介质和计算设备。

背景技术

本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

流任务指的是多个具有关联的任务，流任务可以通过分布式系统来执行。

在创建流任务后，流任务会读取多个消息群，每个消息群可被均分为多个消息单元，消息群包括同一类的多个消息。各个消息单元会以均分的方式分配到分布式系统的各个工作节点上进行处理。

各个消息群的数据量不同，则不同消息群的消息单元的数据量也不同。由于消息单元无法被划分，因而消息单元是尽量均分给工作节点的。若存在多个消息群，则工作节点会分配到不同消息群的消息单元。各个消息群的数据量不同，因而不同消息群的消息单元被处理的数据量也不同，从而造成分配至工作节点的消息单元的数据量较大。若出现这种情况，需要手动将处理量大的工作节点的消息单元分配至处理量小的工作节点；或新开设一个工作节点，手动将处理量大的工作节点的消息单元分配至新开设的工作节点，从而使得流任务的执行时长过长，导致流任务的执行效率较低。

发明内容

本公开提供一种资源配置方法、装置、介质和计算设备，以解决流任务的执行效率较低的问题。

在本公开实施方式的第一方面中，提供了一种资源配置方法，包括：获取待执行任务读取的多个消息群以及执行所述待执行任务的分布式系统的历史网络参数，所述消息群包括多个消息单元，所述消息单元包括一个或多个消息；根据所述历史网络参数确定各个所述消息单元被处理所需的单位资源的第一数量；根据各个所述消息单元被处理所需的单位资源的第一数量，为所述分布式系统的各个工作节点分配对应的消息单元，其中，分配至所述工作节点的各个所述消息单元被处理所需的单位资源的第一数量之和，小于或等于所述工作节点的单位资源的数量。

在本公开一实施例中，所述为所述分布式系统的各个工作节点分配对应的消息单元，包括：根据各个所述消息单元被处理所需的单位资源的第一数量，对各个所述消息单元进行从大到小的排序；将排序后的各个所述消息单元，分配至各个所述工作节点，其中，完成所述消息单元分配后的工作节点剩余的单位资源的数量，小于最小的第一数量。

在本公开另一实施例中，所述根据所述历史网络参数确定各个所述消息单元被处理所需的单位资源的第一数量，包括：根据所述历史网络参数确定各个所述消息群被处理所需的单位资源的第二数量；根据所述第二数量以及所述消息群中消息单元的数量，确定所述消息群的消息单元被处理所需的单位资源的第一数量，其中，所述消息群包括数据量相等的多个消息单元。

在本公开另一实施例中，所述根据所述历史网络参数确定各个所述消息群被处理所需的单位资源的第二数量，包括：获取所述消息群的序列化参数；将所述历史网络参数以及所述消息群的序列化参数输入预测模型；根据所述预测模型输出的结果，确定所述消息群被处理所需的单位资源的第二数量。