[发明专利]基于深度带权双Q学习的大范围监控方法及监控机器人

权利要求书

1.一种基于深度带权双Q学习的大范围监控方法，其特征在于，包括如下步骤：

S1、提供一大范围空间和一机器人，所述机器人在所述大范围空间中，在工作状态下通过双Q学习方法从当前状态到达目标状态，所述机器人的Q值表包括Q_A表和Q_B表，Q值通过深度估值网络参数θ进行计算，其中，

Q_A值的更新公式如下：

δ＝R(s,a)+γ[β_AQ_A(s′,a^*；θ)+(1-β_A)Q_B(s′,a^*；θ)]-Q_A(s,a；θ)；

Q_A←Q_A(s,a；θ)+α(s,a)δ；

Q_B值的更新公式如下：

δ＝R(s,a)+γ[β_BQ_B(s′,a^*；θ)+(1-β_B)Q_A(s′,a^*；θ)]-Q_B(s,a；θ)；

Q_B←Q_B(s,a；θ)+α(s,a)δ；

其中，β_A，β_B表示权重；s′表示下一状态；a^*表示下一状态的最优动作；a_L表示下一状态的最差动作；c为自由参数，c≥0；δ表示时间差分；R表示奖赏值；γ表示目标折扣，0≤γ≤1；s表示当前状态，a表示当前动作；α表示学习率，α在区间(0,1)内，θ表示深度估值网络参数；

工作状态时，所述大范围空间中有不明物体；

目标状态时，所述不明物体在所述机器人的监控范围内；

S2、所述机器人设置其初始状态为当前状态s；

S3、所述机器人检测并判断当前状态s是否为工作状态，如否，进入S4，如是，进入S5；

S4、所述机器人待机后到达下一状态s′，进入S11；

S5、所述机器人检测并判断当前状态s是否为目标状态，如否，进入S6，如是，进入S7；

S6、所述机器人选择并执行当前动作a后到达下一状态s′，进入S8；

S7、所述机器人选择并执行当前动作a后到达下一状态s′并监控所述不明物体，进入S8；

S8、所述机器人根据下一状态s′得到奖赏值R，进入S9；

S9、所述机器人等概率的选择更新Q_A值或Q_B值并进行更新，进入S10

S10、所述机器人判断其Q值表是否收敛，如否，进入S11，如是，进入S12；

S11、所述机器人重置下一状态s′为当前状态s，回到S3；

S12、所述机器人制定最优监控策略，进入S13；

S13、所述机器人重置下一状态s′为当前状态s，进入S14；

S14、所述机器人检测并判断当前状态s是否为工作状态，如否，进入S15，如是，进入S16；

S15、所述机器人待机后到达下一状态s′，返回S13；

S16、所述机器人通过深度估值网络检测并判断当前状态s是否为目标状态，如否，进入S17，如是，进入S18；

S17、所述机器人根据所述最优监控策略到达下一状态s′，回到S13；

S18、所述机器人选择并执行当前动作a后到达下一状态s′并监控所述不明物体，回到S13；

其中，在同一大范围空间中，所述机器人仅初次选择并执行当前动作a前初始化其Q值、学习率α、目标折扣γ、深度估值网络的结构和参数θ、动作选择方式以及权重β。

2.根据权利要求1所述的基于深度带权双Q学习的大范围监控方法，其特征在于，所述大范围空间划分为若干子空间，所述机器人选择并执行当前动作a后，静止于当前子空间或移动至与当前子空间相邻的子空间，每个所述子空间不大于所述机器人的监控范围。