[发明专利]一种基于马尔科夫决策过程的动态资源优化方法

摘要

本发明属于动态资源优化技术领域，具体涉及一种基于马尔科夫决策过程的动态资源优化方法。该方法打破了传统的制造资源选择方法，将云制造环境下多个研制任务精确调控云制造资源问题抽象为一个马尔科夫决策选择过程，实现了研制过程不确定性对资源选择的数学建模；以研制期望费用为目标函数，采用交叉熵方法进行计算，将组合优化问题转换为关联随机优化问题，得到云制造资源最优选择概率，实现复杂产品协同研制工作中制造资源的合理调度和高效利用，有效的降低了产品研制风险和制造成本。

主权项

一种基于马尔科夫决策过程的动态资源优化方法，其特征在于，其基于动态资源优化系统来实施，该动态资源优化系统包括：复杂产品任务分解模块、研制能力网络构建模块、动态资源选择决策模块以及交叉熵求解模块；步骤S1：根据复杂产品的性能要求、结构要求和精度要求，通过复杂产品任务分解模块对总任务F进行分解，形成n个研制子任务，即F＝{fi|i＝1,2,…,n}，其中fi表示研制过程中的第i个子任务；步骤S2：根据各个研制子任务对云制造资源的需求，通过研制能力网络构建模块建立由跨地域企业研制能力资源组成的动态的复杂产品研制能力网络；所述研制能力网络构建模块包括：企业研制能力分解器、能力资源池构建器、能力网络构建器；该步骤S2包括如下子步骤：步骤S201：通过企业研制能力分解器将云制造环境下跨地域的企业制造资源进行虚拟化，将企业研制能力统一表达为企业研制能力单元cij＝{lov(cij),fi,j}；其中，lov(cij)为针对某一子任务fi，对于企业j而言，其完成该任务的研制能力等级，其大小反映了完成研制任务的预期水平；步骤S202：在步骤S201的基础上，针对某一子任务fi，根据跨地域的企业制造资源中企业的数量，重复若干次步骤S201，进而通过能力资源池构建器建立虚拟的企业研制能力资源池CP(i)＝{ci1,ci2,,…,cij}，i＝1～n；步骤S203：根据相邻子任务之间的顺序关系，能力网络构建器建立企业研制能力资源池之间的顺序关系，以及分处于相邻两个企业研制能力资源池中各个企业研制能力单元之间的关联关系，从而形成动态的复杂产品研制能力网络；步骤S3：基于复杂产品研制能力网络，动态资源选择决策模块根据马尔科夫决策方法获取动态资源分配策略；该步骤S3包括如下步骤：步骤S301：在复杂产品研制能力网络图中，在每个子任务研制过程中，就某一个时刻t(t＝0,1,2,…)设置为仅可分配一个企业研制能力单元cij满足其对应的研制需求；步骤S302：将时刻t所对应的当前子任务研制阶段作为时刻t对应的任务状态，则总任务F的任务状态空间可表示为S＝{St,t≥0}＝{f1,f2,…,fn}；步骤S303：针对某一时刻t，其对应的子任务为子任务fi，则其任务状态为St＝fi，定义该时刻t对应的企业研制能力单元以θij概率成功完成研制子任务fi，则下一时刻t+1进入下一子任务fi+1的企业研制能力单元分配阶段，时刻t+1的任务状态为St+1＝fi+1；以1‑θij表示未完成研制任务fi的概率，即任务研制失败，则下一时刻t+1的任务状态与时刻t的状态相同，即St+1＝St＝fi；其中，概率θij与研制能力等级lov(cij)的关系式为：θij＝lov(cij)/10；步骤S304：对于某一子任务fi在时刻t所分配的企业研制能力单元而言，无论是否完成研制任务均会发生大小为的研制费用；步骤S305：设定St＝fn为目标状态，亦即是最终状态；步骤S306：从任务起始时刻0到任务完成时刻t为止，企业研制能力单元分配过程可由马尔科夫过程的一个历史来描述：步骤S307：根据步骤S306的历史描述Ht，获取在历史Ht条件下分配企业研制能力单元的概率集即动态资源分配策略；步骤S308：设定γ为从需求状态S0＝f1首次到达最终状态St＝fn时分配的企业研制能力单元的研制次数，将从时刻0到时刻γ所分配的全部企业研制能力单元定义为一个研制能力序列步骤S309：云制造环境下动态资源调度优化配置问题可以描述为寻求一个最优选择策略使得研制期望费用Z(X)最小；其中，Eπ表示相对于概率密度π求期望；步骤S4：采用交叉熵求解模块对动态资源分配策略进行优化输出；该步骤S4包括如下步骤：步骤S401：针对动态资源分配策略π，进行初始化操作，使动态资源分配策略π中每一个企业研制能力单元被分配的概率相同，即初始化后，企业研制能力单元被分配的过程是随机过程，从而将动态资源分配策略π表征为所有元素数值相同且每一列元素数值之和为1的初始转移矩阵P；步骤S402：在总任务F对应的复杂产品研制能力网络中随机选取一个企业研制能力单元作为起点，鉴于子任务数量为n，则基于初始转移矩阵P经过n步不同的状态随机转移可生成一条路径X1,X2,…,Xn，由于状态转移过程是随机的，由此可获取N条路径，计算每条路径Xi的费用Z(Xi)；步骤S403：将研制费用Z(Xi)由小到大进行排序：Z(Xi)(1)≤Z(Xi)(2)≤…≤Z(Xi)(N)，则它的分位值ρ为步骤S404：根据获取的分位值利用拉格朗日乘子法计算得到第一概率转移矩阵P'，其中，第一概率转移矩阵P'中的元素pij'表示为：pij′=Σk=1NIZ(x)≤γΣiIx∈XijΣk=1NIZ(x)≤γΣiIx∈Xi;]]>其中，pij'表示研制子任务i时，分配的能力研制单元为j的概率；表示在N条路径中，对于研制费用不高于γ的路径，在研制子任务i时，分配能力研制单元的次数；表示对于N条路径中，对于研制费用不高于γ的路径，在研制子任务i时，分配能力研制单元为j的次数；步骤S405：根据第一概率转移矩阵P'及初始转移矩阵P，采用平滑技术修正，得到第二概率转移矩阵P”＝α·P'+(1‑α)·P，其中α为平滑参数；步骤S406：对初始转移矩阵P进行重新赋值，将第二概率转移矩阵P”赋值给初始转移矩阵P；步骤S407：重复步骤S402到步骤S406，直到对于某个给定的迭代次数d，出现对于不同的初始转移矩阵P，均使得从需求状态S0＝f1首次到达最终状态St＝fn时，研制费用Z(Xi)的分位值为止；步骤S408：当步骤S407的条件出现时，视为最优选择策略出现，将当前的初始转移矩阵P作为最优选择策略输出，即可得到复杂产品云制造环境下动态资源最优资源组合。