[发明专利]一种Flink系统资源分配优化方法、系统、设备及介质

权利要求书

1.一种Flink系统资源分配优化方法，其特征在于，包括：

获取用户提交的Slot任务请求，并判断所述Slot任务请求中是否存在用户自定义的配置参数；

响应于所述Slot任务请求中存在所述配置参数，判断所述Flink系统是否满足所述配置参数的要求；

响应于所述Flink系统满足所述配置参数的要求，根据所述配置参数为所述Slot任务请求建立Slot任务；

响应于所述Slot任务建立完成，判断所述Flink系统剩余资源是否满足所述Slot任务请求的配置参数所需求的资源，响应于所述Flink系统剩余资源满足所述Slot任务请求的配置参数所需求的资源，将所述Slot任务分配给任务执行器进行执行。

2.根据权利要求1所述的方法，其特征在于，还包括：

响应于所述Flink系统剩余资源不满足所述Slot任务请求的配置参数所需求的资源，将所述Slot任务挂起并调整所述任务执行器的任务分配。

3.根据权利要求2所述的方法，其特征在于，所述调整所述任务执行器的任务分配包括：

选择所述Flink系统中的多个任务执行器中的一个或多个作为待调整任务执行器，并停止向所述待调整任务执行器分配Slot任务。

4.根据权利要求3所述的方法，其特征在于，所述调整所述任务执行器的任务分配还包括：

响应于所述待调整任务执行器中的已有Slot任务执行完成，释放所述已有Slot任务的资源，并重新判断所述待调整任务执行器的剩余资源是否满足所述Slot任务请求的配置参数所需求的资源；

响应于所述待调整任务执行器中的剩余资源满足所述Slot任务请求的配置参数所需求的资源，将所述Slot任务分配给所述待调整执行器执行。

5.根据权利要求3所述的方法，其特征在于，所述调整所述任务执行器的任务分配还包括：

响应于所述Flink系统中的多个任务执行器中任一个任务执行器的剩余资源满足所述Slot任务请求的配置参数所需求的资源，将所述待调整任务执行器调整为普通任务执行器。

6.根据权利要求1所述的方法，其特征在于，所述判断所述Flink系统是否满足所述配置参数的要求包括：

任务执行器通过心跳检测的方式向所述Flink系统发送任务执行器的剩余资源；

Flink系统将所述Slot任务请求的配置参数所需求的资源与所述任务执行器发送来的剩余资源进行对比，以判断所述任务执行器发送来的剩余资源是否大于所述Slot任务请求的配置参数所需求的资源。

7.根据权利要求1所述的方法，其特征在于，还包括：

响应于所述Slot任务请求中不存在所述配置参数，按照默认配置为所述Slot任务请求建立Slot任务。

8.一种Flink系统资源分配优化系统，其特征在于，包括：

解析模块，所述解析模块配置用于获取用户提交的Slot任务请求，并判断所述Slot任务请求中是否存在用户自定义的配置参数；

判断模块，所述判断模块配置用于响应于所述Slot任务请求中存在所述配置参数，判断所述Flink系统是否满足所述配置参数的要求；

任务创建模块，所述任务创建模块配置用于响应于所述Flink系统满足所述配置参数的要求，根据所述配置参数为所述Slot任务请求建立Slot任务；

任务执行模块，所述任务执行模块配置用于响应于所述Slot任务建立完成，判断所述Flink系统剩余资源是否满足所述Slot任务请求的配置参数所需求的资源，响应于所述Flink系统剩余资源满足所述Slot任务请求的配置参数所需求的资源，将所述Slot任务分配给任务执行器进行执行。

9.一种计算机设备，其特征在于，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-7任意一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任意一项所述方法的步骤。