[发明专利]基于深度强化学习的制造网络维修-检测联合优化方法

权利要求书

1.一种基于深度强化学习的制造网络维修-检测联合优化方法，其特征在于，其步骤如下：

步骤一：对于机器层面，在考虑机器故障停机导致的动态生产速度的情况下，构建了考虑进料质量影响的机器可靠性模型和考虑机器可靠性影响的加工质量模型；

步骤二：基于可靠性模型和质量模型对制造网络状态和性能进行系统评估；并搭建制造网络维修和质量检测联合优化模型；

步骤三：在系统层面，以制造网络的经济运行作为策略评价的标准，通过设计的一种深度确定性策略梯度算法学习给定制造网络状态下质量检测与维修的最优策略。

2.根据权利要求1所述的基于深度强化学习的制造网络维修-检测联合优化方法，其特征在于，在机器层面，可靠性模型和质量模型的构建方法为：

计算动态生产速度：

将每个机器看作一个节点，利用有向无循环图G(V,E)对n个节点的无循环制造网络进行建模，其中V＝{v₁,v₂,…,v_n}为制造网络的节点集合，为制造网络中有向边的集合；i、j均为节点；

当制造网络中没有机器故障停机时，将机器的生产速度定义为最大生产速度，表示为P_rm＝[P_rm1,P_rm2,…,P_rmn]；制造网络中机器的实际生产速度记为P_ra(t)＝[P_ra1(t),P_ra2(t),…,P_ran(t)]，且满足P_ra≤P_rm；其中，P_rmn表示第n台机器的最大生产速度，P_ran(t)表示第n台机器的实际生产速度；

当节点i的生产速度改变ΔP_rai(t)时，其紧邻上游节点的生产速度的变化量ΔP_rak(t)和紧邻下游节点的生产速度的变化量ΔP_raj(t)分别表示为：

其中，表示与节点i相连的紧邻上游节点集合，表示与节点i相连的紧邻下游节点集合；表示流入节点i的所有在制品中来自上游节点k的概率，表示节点i流出的在制品中流入到下游节点j的概率；

计算动态维修费用：

当考虑生产速度的动态性时，将加工合格进料时的故障率定义为基础故障率r_b(t)：

r_b(t)＝(β/α)·(t_r/α)^β-1；

其中，α是尺度参数，β是形状参数；是以最大生产速度为标准计算的机器的相对运行时间；t为机器运行的实际时间；

考虑到不合格进料可能造成的冲击，实际故障率r(t)定义为：

其中，Δr_i′为机器不合格进料导致的累积失效率增量，N(t)是机器在[0,t)时间内加工的不合格在制品数量；通过推导得到机器失效的概率分布函数F(t)为：

F(t)＝1-exp(-(t_r/α)^β-∫Δr(t)dt)；

其中，为直到t时刻机器加工不合格进料导致的累积失效率增量；Δr(t)的积分的计算公式为：

其中，t_i′为第i′个失效率增量的实际发生时刻；

假设机器的纠正性维修和预防性维修的维修时间分别服从以下正态分布：和且μ_cm≥μ_pm，纠正性维修和预防性维修的单位时间维修费用分别为c_cm和c_pm，那么在[0,t)时间内机器的总维修费用c_m(t)可表示为：

其中，N_cm(t)为机器在[0,t)时间内的纠正性维修的次数，N_pm(t)为机器在[0,t)时间内的预防性维修的次数，t_{cm_i1}为机器第i1次纠正性维修花费的时间，t_{pm_j1}为机器第j1次预防性维修花费的时间；

构建动态加工质量与检测活动模型：

将M(t)定义为[0,t)时间内产生的不合格品数量，M(t)满足强度函数λ(t)的非齐次泊松过程：

λ(t)＝ω-ε·e^-δ·r(t)；

其中，ω0表示最大不合格品产生强度，ε0和δ0均为失效率对强度函数的影响系数，且ω-ελ(t)ωP_ra(t)；定义n_d为机器在[t,t+Δt)时间内产生的不合格品数量，其概率为：

其中，为[0,t)时间段内的不合格产品产出的期望值，Δt为质量统计周期；定义n_q为机器在[t,t+Δt)时间段内加工的合格产品的总数，表示为：

在检测活动中，对不合格品与合格品的错误判断为：第I类错误，表示错误拒绝，概率为p_I；第II类错误，表示错误接受，概率为p_II；假设检测活动中的抽样比例为s_a，s_a∈[0,1]，则任意合格在制品发生I类错误的联合概率为s_a·p_I，任意不合格在制品发生II类错误的联合概率为s_a·p_II；定义第I类错误和第II类错误的次数分别为n_fr和n_fa，且分别服从二项分布B(n_q,s_a·p_I)和B(n_d,s_a·p_II)；因此，流出机器的不合格在制品数M'(t)是非齐次泊松过程M(t)和二项分布B(n_d,s_a·p_II)的复合，则n_fa个不合格在制品在[t,t+Δt)时间段内流出机器的概率为：

其中，m′(t)是[0,t]时间段内流出机器的平均不合格在制品数量；此外，在[t,t+Δt)时间段内合格在制品被拒绝的概率为：

其中，D(t)是累积到时间t时被拒绝的合格在制品，表示从n_q个不合格品中随机抽取n_fr个样本的可能组合数量；

机器在[t,t+Δt)时间段内加工出的产品被正确判定为不合格品的数量n_cr与被正确判定为合格品的数量n_ca分别表示为：

在此基础上，可以获得机器在[t,t+Δt)时间内通过检测活动判别出的不合格产品比例为：

假设机器检测单个产品的检测费用为c_ins，则机器在[t,t+Δt)时间内的检测总费用：

假设单个在制品从制造网络输入节点到当前加工节点i的加工过程带来的累计价值增量为v_si，则节点i对应的机器加工单件在制品带来的平均工序价值增量v_ai可定义为：

其中，v_sk表示节点i的上游节点k的累计价值增量；

将检测过程发生II类错误的不合格在制品造成的价值损失定义为因此，机器i在[0,t)时间内加工的所有在制品带来的净价值增量v_{net_i}为所有正确接受的在制品的价值增量、错误接受的在制品的价值损失与所有被拒绝的在制品的价值损失三个部分之和：

其中，n_{ca_i}表示节点i对应的机器正确接受的在制品数量，n_{fa_i}表示节点i对应的机器错误接受的在制品数量，n_{cr_i}表示节点i对应的机器正确拒绝的在制品数量，n_{fr_i}分别表示节点i对应的机器错误拒绝的在制品数量。