[发明专利]库存活动决策的处理方法、装置及电子设备

权利要求书

1.一种库存活动决策的处理方法，其特征在于，包括：

确定库存活动的活动方智能体相应的当前环境状态；

基于所述活动方智能体的库存活动策略以及所述当前环境状态，从库存活动决策的动作空间中确定当前环境状态下的库存活动决策；

确定当前库存活动周期内根据所述库存活动决策进行库存活动的处理结果；

确定依据所述库存活动决策进行库存活动后活动方智能体获得的环境反馈结果。

2.根据权利要求1所述的方法，其特征在于，所述确定依据所述库存活动决策进行库存活动后活动方智能体获得的环境反馈结果，包括：

根据对当前到货周期内预设指标的观测量，确定依据所述库存活动决策进行库存活动后活动方智能体获得的环境反馈结果；所述到货周期包括以货品到达时间分割的时间周期。

3.根据权利要求2所述的方法，其特征在于，所述预设指标包括所述当前到货周期内的货品在架率，和/或，库存周转率。

4.根据权利要求1至3任一项所述的方法，其特征在于，还包括：

通过预置神经网络训练产生所述库存活动策略；

所述预置神经网络的训练过程包括：

确定库存活动的历史数据；

基于所述历史数据确定历史库存活动对应的历史环境状态，历史活动决策，以及历史环境反馈构建训练样本；

基于所构建的训练样本，对所述预置神经网络进行训练以确定所述库存活动策略。

5.根据权利要求4所述的方法，其特征在于，所述通过预置神经网络训练产生所述库存活动策略，包括：

预训练阶段以及调优阶段；其中，

所述预训练阶段包括：使用窗口期为w1的历史数据，宽泛度k1的超参集合，对初始化的神经网络进行步数为n1的训练；

所述调优阶段包括：使用窗口期为w2的历史数据，宽泛度k2的超参集合，对所述预训练阶段得到的神经网络进行步数为n2的训练；

其中，窗口期w1大于窗口期w2，宽泛度k1大于宽泛度k2，步数n1大于步数n2。

6.根据权利要求5所述的方法，其特征在于，所述确定库存活动的历史数据包括多个不同产品仓库的库存活动的历史数据；

所述预训练阶段使用的样本对所述产品仓库的覆盖度为s1，所述调优阶段使用的样本对所述产品仓库的覆盖度为s2；其中，s1大于s2。

7.根据权利要求4所述的方法，其特征在于，还包括：

构建仿真环境，基于所述活动方智能体与所述仿真环境的交互过程，对所述预置神经网络进行训练。

8.一种多智能体环境的库存活动决策方法，其特征在于，包括：

确定存在博弈关系的智能体双方中的一个智能体为目标智能体；

确定所述目标智能体相应的当前环境状态；

确定所述智能体双方中的另一智能体的历史策略，根据所述另一智能体的历史策略，确定当前轮次中所述目标智能体的库存活动策略；

根据所述目标智能体的库存活动策略以及所述当前环境状态，从目标智能体的库存活动决策的动作空间中确定库存活动决策；

确定依据所述库存活动决策进行库存活动后目标智能体获得的环境反馈结果。

9.根据权利要求8所述的方法，其特征在于还包括：

以所述目标智能体的活动策略以及所述另一智能体的活动策略之间的纳什均衡状态为目标，当双方智能体采取的策略达到所述纳什均衡状态时，分别确定双方智能体的均衡策略。

10.根据权利要求8或9所述的方法，其特征在于，所述目标智能体为供应方智能体；所述确定依据所述库存活动决策进行库存活动后目标智能体获得的环境反馈结果，包括：

根据到货周期内的送货成本，和/或效益，确定依据所述库存活动决策进行库存活动后目标智能体获得的环境反馈结果。