[发明专利]一种基于强化学习的线缆生产调度优化方法

权利要求书

1.一种基于强化学习的线缆生产调度优化方法，其特征在于，该方法包括如下步骤：

步骤1、建立线缆生产调度问题的约束优化数学模型；

设定线缆生产线中共有m台机器，有N个待生产订单{J₁,J₂,…,J_N}，每个订单J_i(i＝1,2，…,N)根据线缆产品型号的生产工艺要求对应n个工序集合O_i＝{O_i1,O_i2,…,O_in}；一个订单只包含一种线缆产品规格，设定用于工艺环节g(g＝1,2,…,6)生产的机器集合为M_g，G_gh表示工艺环节g上第h个生产规格，为订单J_i在工艺环节g上对应的生产规格，G′_gh为生产线缆规格G_gh时相应的可用模具套数；在机器M_k(k＝1,2,…,m)上生产，若需要从订单J_i切换到另一订单J_i′，且J_i和J_i′两个订单对应的线缆规格不同，则所需更换模具的时间为S_ii′k；设定工序O_ij(i＝1,2,…,N；j＝1,2,…,n)的开始时间和完工时间分别为B_ij和C_ij；设定机器k上生产订单J_i的开始时间和完工时间分别为B′_ik和C′_i′k；以截止期延期惩罚费用最小化为优化目标，合理安排不同作业相应工序的加工设备和时序；线缆生产调度问题目标函数为：

其中，D_i为订单J_i对应的交货截止期，C_i为订单J_i的完工时间，w_i为截止期各订单紧急权重因子；

约束条件如下：

其中，约束(2)给定了同一个订单J_i中后一个工序的开始时间必须要在前一个工序结束后才能开始加工；约束(3)给定了机器k上紧后工序必须要在前一工序结束后才能开始加工；

步骤2、初始化优化算法和强化学习参数；

2.1、初始化算法参数：当前迭代次数t，最大迭代次数maxT，周期迭代次数T；

2.2、生成初始解：随机生成一个由N个订单对应工序所组成的初始解，即X_t＝Ruffled{O₁,O₂,…,O_N}，Ruffled(·)为随机打乱顺序操作；

步骤3、随机选取初始状态s_t以及s_t对应的某一个动作χ_t(χ_t∈A)；

步骤4、将χ_t作为搜索算子应用到X_t，并连续运行T次，每次运行时，采用最小完工时间优先作为标准，生成调度方案，

若得到的新解更优，则替换原有解，T次运行结束后按照公式(7)计算得到λ值；

步骤5、根据λ值选择相应状态s_t，即λ∈{s|s＝θ₁,θ₂,θ₃}，其中θ₁＝[0.9,1]，θ₂＝[0.5,0.9)，θ₃＝[0,0.5)为状态空间的区间阈值；

步骤6、生成随机数r(r∈[0,1])，基于公式(8)所计算的强化概率ε得到下一步执行动作χ_t；当r＜ε时，选择状态s_t对应Q值最高的动作；否则，随机选择状态s_t对应某一动作进行操作；

公式(8)中，maxT为设定的最大迭代次数；

步骤7、针对当前动作χ_t执行结果对其效用进行评价以引导超启发式算法的搜索方向，定义执行动作χ_t的效用值函数r_t为：

根据公式(10)所示学习函数更新χ_t所属动作集中所有动作χ′_t的Q值，并依据状态表达机制确定下一状态；

公式(10)中Q_t(s_t,χ_t)表示第t次迭代时状态s_t对应动作χ_t的Q值，α为学习率，γ为折扣因子，其中γ＝0.8，α采用公式(11)所示方式进行自适应调整；

步骤8、判断t≤maxT是否成立，若成立转到步骤4继续执行，否则输出最优调度方案及其对应的甘特图。