[发明专利]动态调度方法、系统、电子设备及计算机存储介质

权利要求书

1.一种动态调度方法，其特征在于，包括：

获取智能车间的当前调度析取图、AGV当前位置信息及预设状态特征的当前状态特征值；

将所述当前调度析取图、AGV当前位置信息及预设状态特征的当前状态特征值输入到预先建立的调度模型中，输出调度规则，其中，所述调度规则包括待处理工件在机器的处理顺序及运输所述待处理工件的AGV的调度顺序；

执行所述调度规则，并更新执行所述调度规则之后的下一步调度析取图、AGV下一步位置信息及预设状态特征下一步状态特征值；

将更新后的下一步调度析取图、AGV下一步位置信息及预设状态特征下一步状态特征值重新输入至所述预先建立的调度模型中，迭代输出并执行新的调度规则，直至所述待处理工件处理完成。

2.根据权利要求1所述的方法，其特征在于，调度析取图包括机器及工件的状态信息；

所述预设状态特征包括机器平均利用率、机器利用率的标准差、调度动作的平均完成率、工件平均完成率、工件完成率的标准差、估计迟到率和实际迟到率。

3.根据权利要求2所述的方法，其特征在于，所述预先建立的调度模型是基于改进型DQN网络进行建立的，其中，所述改进型DQN网络的结构包括图神经网络、在线网络、目标网络、经验回放池和损失函数。

4.根据权利要求3所述的方法，其特征在于，所述预先建立的调度模型的训练过程，包括：

获取历史调度析取图、AGV历史位置信息及预设状态特征的历史状态特征值，并将所述历史调度析取图输入到图神经网络中得到机器与工件的历史状态信息；

将所述历史状态信息、AGV历史位置信息及预设状态特征的历史状态特征值作为历史状态输入到在线网络中进行迭代训练得到历史经验数据，并将所述历史经验数据存储到经验回放池，其中，所述历史经验数据包括历史状态、历史调度动作及下一步历史状态；

选取所述历史经验数据中的历史状态输入到在线网络中，输出历史估计Q值；

选取所述历史经验数据中的下一步历史状态输入到目标网络中，输出历史目标Q值；

利用BP算法计算所述历史估计Q值与所述历史目标Q值的损失函数，并更新所述在线网络的参数；

重复上述步骤，并根据所述在线网络的参数调整所述目标网络的参数，直至损失函数的损失结果在预设范围内。

5.根据权利要求4所述的方法，其特征在于，所述将所述当前调度析取图、AGV当前位置信息及预设状态特征的当前状态特征值输入到预先建立的调度模型中，输出调度规则，包括：

将所述当前调度析取图输入到图神经网络中得到机器与工件的当前状态信息，并将当前状态信息、AGV当前位置信息及预设状态特征的当前状态特征值作为当前状态输入到在线网络中进行计算，输出当前状态下每一候选调度规则的估计Q值；

根据所述每一候选调度规则的估计Q值确定所述调度规则。

6.根据权利要求5所述的方法，其特征在于，所述将所述当前调度析取图、AGV当前位置信息及预设状态特征的当前状态特征值输入到预先建立的调度模型中，还包括：

确定在当前状态执行所述调度规则后进入的下一步状态，其中，所述下一步状态包括机器与工件的下一步状态信息、AGV下一步位置信息及预设状态特征的下一步状态特征值，并将当前状态、所述调度规则与下一步状态输入经验回放池；

将下一步状态输入到目标网络中，输出每一候选调度规则的目标Q值；

计算所述估计Q值与所述目标Q值在所述损失函数中的损失结果；

基于所述损失结果更新所述在线网络的参数，并间隔预设循环步数更新目标网络的参数。