[发明专利]基于Q学习的流程制造车间滚揉结扎工序段生产优化方法

权利要求书

1.一种基于Q学习的流程制造车间滚揉结扎工序段生产优化方法，其特征在于：包括以下步骤

步骤1、建立流程制造车间滚揉结扎工序段模型，可以对实际的生产车间滚揉结扎工序段情况进行模拟生产；

步骤2 获取流程制造车间的生产数据；

步骤3 定义Q学习参数；

步骤4 初始化Q表，生成记录动作-时间-Q值的自增长式Q表，每当遇到新状态时，将此状态记录在Q表中；

步骤5 根据步骤3所定义的流程制造车间状态S初始化状态并生成其对应的动作、初始化时间t为0；

步骤6 对于当前生产线状态S(t)，根据Q表选择滚揉工序开工哪一个工位的回报R高，若在回报的最高值中，存在多个动作A，则在这些动作A构建的动作集合中进行随机选择，得到A(t)；

步骤7 通过建立的流程车间模型根据在t时刻时对应的状态S(t)所选的动作A(t)对流程车间环境进行访问，即模拟生产，得到下一个时刻的状态S(t+1)；

步骤8 判断滚揉锅的工作状态，若在t+1时刻的状态S(t+1)中，若滚揉锅全为工作状态，则返回至步骤7；若存在空闲的滚揉锅，则跳至步骤9；

步骤9 判断状态S(t+1)是否为终止状态，即滚揉工序的所有设备均达到生产任务量并且滚揉工序的出料仓均无法向结扎工序进行供料，若状态S(t+1)为终止状态，给出步骤3中定义的反馈值R、记录将迭代次数加1并跳至步骤12；若状态S(t+1)不为终止状态，跳至步骤10；

步骤10 判断t+1时刻的流程车间状态S(t+1)在Q表记录的状态中是否存在，若不存在，则将此状态S(t+1)记录在Q表中并存入其对应的动作A(t+1)。若存在，则返回至步骤6；

步骤11 根据步骤7选择的动作A(t)根据S(t+1)找到对应的动作Q值中最大的Q值作为其反馈值R；

步骤12 根据步骤9或步骤11得到的回报R对S(t)选择的动作A(t)对应的Q值进行更新，记录时间t加1，其回报根据下列公式进行回馈更新；

其中，R(S(t),a(t))为当前状态-动作对本身的Q值，为采取动作到达下一个状态时所有动作回报的最高值。若为步骤9跳至此步骤，则跳至步骤13，若为步骤11跳至此步骤，则返回至步骤6；

步骤13 判断迭代次数是否达到预先设定值，若未达到，返回至步骤5，若达到，则将此时的Q表作为Q学习的流程制造车间滚揉结扎工序段生产优化结果输出。

2.根据权利要求1所述的一种基于Q学习的流程制造车间滚揉结扎工序段生产优化方法，其特征在于：所述建立流程制造车间滚揉结扎工序段模型在于模型约束关系，包括工位信息约束、生产关系约束、结扎线工作任务约束及火腿肠剩余数量约束。

3.根据权利要2所述的一种基于Q学习的流程制造车间滚揉结扎工序段生产优化方法，其特征在于：所述工位信息约束，

在滚揉工序中，滚揉锅总数与滚揉出料仓总数相等，并且每个滚揉锅都只对应各自的滚揉锅出料仓。对应关系如下。

P_T＝M_T

其中，式(1)代表滚揉锅总数与滚揉出料仓总数相等。在式(2)中，WS_T,iCanOutT_c表示第i个滚揉锅WS_T,i是否可以在第c个滚揉出料仓出料。

在结扎工序中，结扎线总数与滚结扎线进料仓总数相等，并且每条结扎线只对应各自的结扎线进料仓。对应关系如下。

M_L＝P_L

其中，式(3)代表结扎线总数与结扎进料仓总数相等。在式(4)中，WS_T,jCanOutL_r表示第j条结扎线WST,j是否可以在第r个结扎进料仓中吸料。