[发明专利]一种容器分配的优化方法及处理设备

权利要求书

1.一种容器分配的优化方法，其特征在于，应用于分布式资源管理内存计算框架Sparkon Yarn系统中的认知计算服务器，所述Spark on Yarn系统包括被选定用来分配容器的从服务器，所述从服务器与所述认知计算服务器通信连接，所述方法包括：

所述认知计算服务器获取N个任务，N为大于1的整数，所述N个任务由应用程序分解得到；

所述认知计算服务器对所述N个任务进行调用关系分析，确定至少一个任务关系组，每个所述任务关系组包括至少两个任务，所述至少两个任务中的任意两个任务之间存在调用关系，所述调用关系为所述任意两个任务之间对执行结果的依赖关系；

所述认知计算服务器根据所述确定的至少一个任务关系组生成容器分配调整信息，所述容器分配调整信息包括所述至少一个任务关系组与容器之间的映射关系；

所述认知计算服务器向所述被选定的从服务器发送所述容器分配调整信息；

其中，所述至少一个任务关系组包括第一任务关系组以及第二任务关系组，在所述认知计算服务器根据所述确定的至少一个任务关系组生成容器分配调整信息之前，所述方法还包括：

所述认知计算服务器对所述第一任务关系组以及所述第二任务关系组进行调用关系完备性分析；

若所述第一任务关系组中的任务和所述第二任务关系组中的任务之间存在调用关系，所述认知计算服务器将所述第一任务关系组和所述第二任务关系组合并为独立的任务关系组；

所述认知计算服务器对所述第一任务关系组和所述第二任务关系组与容器之间的映射关系进行调整。

2.根据权利要求1所述的方法，其特征在于，所述认知计算服务器对所述N个任务进行调用关系分析，确定至少一个任务关系组，包括：

所述认知计算服务器从所述N个任务中确定X个任务，所述X个任务中的任一任务与至少一个其他任务之间存在所述调用关系，所述其他任务为所述X个任务中除所述任一任务之外的任务，X为小于或等于N的正整数；

所述认知计算服务器从所述X个任务中确定至少一个任务关系组。

3.根据权利要求2所述的方法，其特征在于，所述认知计算服务器从所述X个任务中确定至少一个任务关系组，包括：

所述认知计算服务器对所述X个任务所包括的调用关系进行分析，确定所述X个任务中包括的Y个任务关系组，所述Y个任务关系组中的每一个任务关系组包括至少两个任务，所述至少两个任务中的任意两个任务之间存在所述调用关系，Y为小于X的正整数。

4.根据权利要求3所述的方法，其特征在于，所述认知计算服务器对所述X个任务所包括的调用关系进行分析，确定所述X个任务中包括的Y个任务关系组，包括：

所述认知计算服务器将所述X个任务和所述X个任务中存在的调用关系等效为图论中的有向图，其中，将所述X个任务等效为有向图中的顶点，将所述X个任务中存在的调用关系等效为所述有向图的顶点之间的有向连接线；

所述认知计算服务器求解所述有向图的Y个独立集，以得到所述Y个独立集对应的Y个任务关系组。

5.根据权利要求3或4所述的方法，其特征在于，所述认知计算服务器向所述被选定的从服务器发送所述容器分配调整信息，包括：

所述认知计算服务器检测所述被选定的从服务器中容器的可用资源；

若检测到所述被选定的从服务器中容器的可用资源小于所述Y个任务关系组所需要的资源，则向所述被选定的从服务器发送针对所述Y个任务关系组中的Y1个任务关系组的容器分配指示信息，Y1为小于Y的正整数。