[发明专利]一种不完全提箱信息下的集装箱堆场翻箱落位优选方法

权利要求书

1.一种不完全提箱信息下的集装箱堆场翻箱落位优选方法，其特征在于：步骤1，利用集装箱堆场提箱作业仿真对设计的Q值表进行模拟学习，获得模拟学习后的Q值表；步骤2，利用学习后的Q值表和动作选择策略动态生成集装箱翻箱落位的动作指令，根据动作指令选择待翻箱的落箱箱位，在堆场提箱作业过程中根据动作指令的执行反馈来自适应地更新Q值表；

步骤1的具体实现步骤是：

步骤11：用0值初始化Q(s_t，a_t)值表，设置折扣因子γ、参数α₀和p_α，探索策略参数ε₀和p_ε，终止判断参数N_e和e_T；

步骤12：令参数n＝0，ES＝0，E＝0；

步骤13：接收集装箱堆场提箱作业模拟系统的翻箱落位动作指令请求，请求中包括当前翻箱落位状态信息s_t；

步骤14：利用学习阶段探索策略选择动作a_t，生成翻箱落位动作指令，传输给集装箱堆场提箱作业模拟系统；令参数tmp＝Q(s_t，a_t)；

步骤15：接收集装箱堆场提箱作业模拟系统执行翻箱落位动作a_t后的立即回报函数r和后续新状态s_t+1，利用Q值更新方程更新Q值表中的Q(s_t，a_t)项；

步骤16：令参数E＝E+|Q(s_t，a_t)-tmp|，ES＝ES+Q(s_t，a_t)；

步骤17：如果n＜N_e，那么n＝n+1，转步骤12；否则，转步骤18；

步骤18：如果e_T＜E/ES，转步骤12；否则，输出Q值表，结束。

2.根据权利要求1所述一种不完全提箱信息下的集装箱堆场翻箱落位优选方法，其特征在于：学习阶段探索策略具体为：

步骤141：计算当前动态的动作探索概率ε_τ；

步骤142：随机生成一个0～1之间的数k；

步骤143：在翻箱落位优选状态s下，探索选择的动作为a^*，其动作公式：

其中，rand(a|s)：当前状态s下的可行动作集合A^*(s)中随机选择一个动作；

当前状态s下最大Q值对应的可行动作；

动态的动作探索概率ε_τ，其计算公式为：

其中，ε₀和p_ε为动态的动作探索概率参数，τ为Q值已学习更新的总次数。

3.根据权利要求1所述一种不完全提箱信息下的集装箱堆场翻箱落位优选方法，其特征在于：针对模拟学习阶段的Q值更新方程如下：

其中

α_τ为学习因子，

α₀和p_α为学习因子参数，τ为Q值已学习更新的总次数；

γ为折扣因子；

r(s_t，a_t)为在t时刻翻箱落位优选状态s_t下，执行动作a_t后产生的立即回报；

Q(s_t，a_t)为当前策略下状态-动作对(s_t，a_t)的累计奖赏值；

为在执行动作a_t后的状态s_t+1下，不同动作a的最小Q值；

A^*(s+1)为翻箱落位优选状态s+1下的可执行动作集合。