[发明专利]基于深度强化学习的贴片机贴装调度模型训练方法

权利要求书

1.一种基于深度强化学习的贴片机贴装调度模型训练方法，其特征在于，包括：

S1：设置贴装循环方案，计算获取所述贴装循环方案的贴装时间；

S2：构建贴片机贴装调度模型，所述贴片机贴装调度模型包括：DQN1网络和DQN2网络；

S3：获取贴装训练数据，将所述贴装训练数据和所述贴装时间输入所述DQN1网络进行循环计算，计算结束后获得取料方案；

S4：将所述取料方案和所述贴装时间输入所述DQN2网络进行循环计算，计算结束后获得训练好的贴片机贴装调度模型；

步骤S4具体为：

S41：通过所述取料方案和所述贴装时间对所述DQN2网络进行设置，获得设置好的DQN2网络；

S42：将所述取料方案输入所述设置好的DQN2网络进行循环计算，获得所述训练好的贴片机贴装调度模型；

步骤S41具体为：

S411：设定DQN2网络的状态空间，所述DQN2网络的状态空间的表达式为：

S₂＝[C₂,P₂]

其中，C₂表示元件在PCB板上的坐标，表达式为：x_nc表示元件在PCB板上的x轴坐标，y_nc表示元件在PCB板上的y轴坐标；n_c表示待贴装元件数量，c表示决策次数；

P₂表示喂料器运动的环境状态，表达式为：P₂＝(p′_l,p′_n)，p′_l表示上一贴装循环最后一次在喂料器上的取料位置，p′_n表示下一贴装循环第一次在喂料器上的取料位置；

S412：设置DQN2网络的动作空间，所述DQN2网络的动作空间的表达式为：

a₂＝{1,2,...,n_c}

S413：设置DQN2网络的奖励函数，所述DQN2网络的奖励函数的表达式为：

R₂＝t_g-(t_recong+t_place+t_return)

其中，t_g代表循环采用贪心算法后的模拟识别用时，模拟贴装运动用时和模拟返回喂料器用时之和；

S414：构建DQN2网络的状态转移概率，具体为：执行所述DQN2网络的动作空间后，对所述DQN2网络的状态空间进行相应调整，之后进入新的循环。