[发明专利]一种基于BFD-VNS算法的低成本Spark执行器放置方法

权利要求书

1.一种基于BFD-VNS算法的低成本Spark执行器放置方法，其特征在于，包括以下步骤：

S1：构建集群环境下Spark作业的成本模型，以最小化Spark集群使用成本建立目标函数；

S2：采用降序最佳适应算法求出Spark执行器放置的可行解；

S3：将获得的可行解作为初始解，采用变邻域搜索算法进行深度优化，以求得最优的Spark执行器放置；

S4：根据求得的最优执行器放置进行执行器放置。

2.根据权利要求1所述的一种基于BFD-VNS算法的低成本Spark执行器放置方法，其特征在于，以最小化Spark集群使用成本建立目标函数包括：

约束条件：

其中，F_k表示使用一个类型为k的虚拟节点所需的固定成本，η表示Spark集群中所有虚拟节点的类型构成的集合，δ_k表示所有类型为k的虚拟节点构成的集合；m_jk为表示第j个类型为k的虚拟节点是否被使用的二进制决策变量，是则取值1，否则取值0；n_ijk为表示执行器i是否被放置在第j个类型为k的虚拟节点上，是则取值1，否则取值0；表示运行当前Spark作业所需的执行器集合；μ^cpu表示当前Spark作业的某一执行器的CPU资源需求，表示第j个类型为k的虚拟节点的可用CPU资源；μ^mem表示当前Spark作业的某一执行器的内存资源需求，表示第j个类型为k的虚拟节点的可用内存资源。

3.根据权利要求1所述的一种基于BFD-VNS算法的低成本Spark执行器放置方法，其特征在于，采用降序最佳适应算法求出Spark执行器放置的可行解包括以下步骤：

101、将集群中所有虚拟节点按照资源可用性大小进行升序排列；

102、按照虚拟节点的既定顺序将执行器依次放入，针对每一个虚拟节点，在满足资源容量约束的前提下使该节点的可用资源剩余量最小若当前节点的可用资源剩余量无法满足下一个执行器的资源需求，则将下一个执行器放入下一个满足其资源需求的虚拟节点；

103、若当前Spark作业所需的所有执行器都能够放置到集群的虚拟节点中，则返回已放置执行器的虚拟节点顺序；否则，返回失败，需调整集群的可用资源后重新执行。

4.根据权利要求3所述的一种基于BFD-VNS算法的低成本Spark执行器放置方法，其特征在于，虚拟节点的资源可用性的计算包括以下步骤：

将虚拟节点的可用CPU资源和可用内存资源进行归一化处理；

基于标准离差法确定可用CPU资源和可用内存资源的客观权重；

将CPU资源和可用内存资源与对应客观权重进行加权融合，得到虚拟节点的资源可用性。

5.根据权利要求4所述的一种基于BFD-VNS算法的低成本Spark执行器放置方法，其特征在于，将虚拟节点的可用CPU资源和可用内存资源进行归一化处理，包括：

其中，η表示Spark集群中所有虚拟节点的类型构成的集合，δ_k表示所有类型为k的虚拟节点构成的集合；表示第j个类型为k的虚拟节点的可用CPU资源，表示第j个类型为k的虚拟节点进行归一化后的可用CPU资源；表示第j个类型为k的虚拟节点进行归一化后的可用内存资源，表示第j个类型为k的虚拟节点的可用内存资源。

6.根据权利要求4所述的一种基于BFD-VNS算法的低成本Spark执行器放置方法，其特征在于，虚拟节点的资源可用性表示为：

其中，RA_jk表示第j个类型为k的虚拟节点的资源可用性；W_cpu表示CPU资源的客观权重；W_mem表示内存资源的客观权重；表示第j个类型为k的虚拟节点的可用CPU资源；表示第j个类型为k的虚拟节点进行归一化后的可用内存资源；η表示Spark集群中所有虚拟节点的类型构成的集合，δ_k表示所有类型为k的虚拟节点构成的集合。