[发明专利]业务资源的调度方法、装置、设备及存储介质

说明书

本公开提供了一种业务资源的调度方法、装置、设备及存储介质，涉及仓储物流技术领域。该方法包括：确定当前时间是否为业务资源调度的决策时刻；当所述当前时间为所述决策时刻时，分别执行如下操作：确定当前时间所处的当前时间段；获取当前时间段的第一待处理对象的信息及用于处理所述第一待处理对象的第一业务资源的配置信息；根据所述当前时间段、所述当前时间段的第一业务资源的配置信息及第一待处理对象的信息，构建所述当前时间段的状态；基于DQN算法模型，确定在所述当前时间段的状态下待执行的资源调度动作；执行确定的所述待执行的资源调度动作，重新配置所述第一业务资源。

技术领域

本公开涉及仓储物流领域，尤其涉及一种业务资源的调度方法、装置、设备及存储介质。

背景技术

在仓储业务作业中，用于处理仓储业务的资源可以包括：拣货员及复核打包员等。对于如何确定对仓储业务资源进行调度，例如如何分配每个时间段进行拣货复核打包操作的人员数量等，是仓库日常运营十分重要的环节。

相关技术中的人员配置方法难以直接用到仓库日常运营中。因为仓库每天情况不同，且由于设备更新等原因，难以根据实际情况动态调度业务资源。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种业务资源的调度方法、装置、设备及存储介质，能够根据实际情况动态调度业务资源。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种业务资源的调度方法，包括：确定当前时间是否为业务资源调度的决策时刻；当所述当前时间为所述决策时刻时，分别执行如下操作：确定当前时间所处的当前时间段；获取当前时间段的第一待处理对象的信息及用于处理所述第一待处理对象的第一业务资源的配置信息；根据所述当前时间段、所述当前时间段的第一业务资源的配置信息及第一待处理对象的信息，构建所述当前时间段的状态；基于DQN算法模型，确定在所述当前时间段的状态下待执行的资源调度动作；执行确定的所述待执行的资源调度动作，重新配置所述第一业务资源。

在本公开一个实施例中，基于DQN算法模型，确定在所述当前时间段的状态下待执行的资源调度动作包括：将所述当前时间段的状态输入至所述DQN算法模型，分别确定在所述当前时间段的状态下，执行与所述当前时间段的状态相关联的各资源调度动作的预期报酬；基于各资源调度动作的预期报酬，确定所述待执行的资源调度操作。

在本公开一个实施例中，基于各资源调度动作的预期报酬，确定所述待执行的资源调度操作包括：以第一预设概率随机从与所述当前时间段的状态相关联的各资源调度动作中选取一个动作作为所述待执行的资源调度动作；以第二预设概率从与所述当前时间段的状态相关联的各资源调度动作中选取具有最大预期报酬的动作作为所述待执行的资源调度动作；其中，第一预设概率与第二预设概率之和为1。

在本公开一个实施例中，上述方法还包括：确定重新配置所述第一业务资源后的第二待处理对象的信息及用于处理所述第二待处理对象的第二业务资源的配置信息；根据所述当前时间段的下一个时间段、所述第二待处理对象的信息及所述第二业务资源的配置信息，构建所述下一个时间段的状态；确定执行所述待执行的资源调度动作后的实际收益；将所述当前时间段的状态、所述待执行的资源调度动作、所述实际收益及所述下一个时间段的状态作为一个样本，放入回收空间中；从所述回收空间中随机抽取预设数量的样本，更新所述DQN算法模型。

在本公开一个实施例中，从所述回收空间中随机抽取预设数量的样本，更新所述DQN算法模型包括：将所述预设数量的样本分别输入到所述DQN算法模型中的估计值网络和目标值网络中，确定各预估报酬的估计值和目标值；根据所述估计值和目标值确定的损失函数，更新所述估计值网络的参数值。