[发明专利]排产方法、装置、设备及存储介质

权利要求书

1.一种排产方法，其特征在于，包括：

确定待排产信息；其中，所述待排产信息用于指示待排产设备的信息以及待排产工件的信息；

根据所述待排产信息初始化俄罗斯方块线上环境；

根据预先训练好的排产模型与所述俄罗斯方块线上环境进行交互，得到所述排产模型输出的每个待排产设备的排产计划；其中，所述排产模型为利用深度强化学习方法、以提高设备均衡利用率为指标训练得到的模型，每个待排产设备的排产计划包括所述待排产设备对应的待排产工件的信息以及各待排产工件的加工顺序。

2.根据权利要求1所述的方法，其特征在于，所述根据预先训练好的排产模型与所述俄罗斯方块线上环境进行交互，得到所述排产模型输出的每个待排产设备的排产计划，包括：

获取所述俄罗斯方块线上环境根据所述待排产信息输出的中间状态信息；

向所述排产模型输入所述中间状态信息，获取所述排产模型根据所述中间状态信息生成的策略动作，向所述俄罗斯方块线上环境反馈所述策略动作，获取所述俄罗斯方块线上环境根据所述策略动作输出的新的中间状态信息，重复执行此步骤，直至所有待排产工件均被排产，根据所述排产模型输出的策略动作确定每个待排产设备的排产计划。

3.根据权利要求2所述的方法，其特征在于，所述中间状态信息包括：当前已排产工件的类型、当前已排产工件的位置、各待排产设备的负荷、当前未排产工件的信息以及当前上一个动作的信息；

所述策略动作包括：选取的未完成排产的工件的标识以及所述未完成排产的工件对应的待排产设备的标识。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述待排产设备的信息包括所述待排产设备的数量和类型，所述待排产工件的信息包括所述待排产工件的数量和类型；

所述待排产信息还包括：待排产设备与待排产工件的映射关系。

5.根据权利要求1至3任一项所述的方法，其特征在于，当两个加工顺序相邻的待排产工件的类型不同时，所述排产计划还包括：所述两个加工顺序相邻的待排产工件之间的换型操作。

6.根据权利要求1至3任一项所述的方法，其特征在于，在所述根据预先训练好的排产模型与所述俄罗斯方块线上环境进行交互，得到所述排产模型输出的每个待排产设备的排产计划之前，所述方法还包括：

根据训练用排产信息，初始化俄罗斯方块训练环境；

获取所述俄罗斯方块训练环境根据所述训练用排产信息输出的新训练中间状态信息；

向训练排产模型输入所述新训练中间状态信息，获取随机生成的训练策略动作或者获取所述训练排产模型根据所述新训练中间状态信息生成的训练策略动作，向所述俄罗斯方块训练环境反馈所述训练策略动作，获取所述俄罗斯方块训练环境根据所述训练策略动作输出的更新的新训练中间状态信息，所述训练排产模型根据所述俄罗斯方块训练环境输出的训练中间特征，采用随机梯度下降算法以设定的频率更新，重复执行此步骤，直至所述训练排产模型满足预设设计要求，将满足预设设计要求时的训练排产模型作为所述排产模型；

其中，所述训练中间特征包括：新训练中间状态信息、老训练中间状态信息、奖励值以及当前动作策略，所述奖励值根据设备均衡利用率确定。

7.根据权利要求6所述的方法，其特征在于，所述奖励值根据如下方式计算：

在当前动作策略之前的设备均衡利用率U1大于当前动作策略之后的设备均衡利用率U2时，所述奖励值为第一值；其中，U1＝(老训练中间状态的换型次数*老训练中间状态的设备负荷差)/老训练中间状态下已排产工件数，U2＝(新训练中间状态的换型次数*新训练中间状态的设备负荷差)/新训练中间状态下已排产工件数；

在U1等于U2时，所述奖励值为第二值；

在U1小于U2时，所述奖励值为第三值；

其中，所述第一值、第二值与第三值的大小关系为：第一值第二值第三值。