[发明专利]基于深度带权双Q学习的大范围监控方法及监控机器人

摘要

本发明公开了一种基于深度带权双Q学习的大范围监控方法，首先，提供Q值表包括Q_A表和Q_B表的机器人，其次，不明物体进入大范围空间以触发机器人，再次，机器人感知当前状态s，判断当前状态s是否为目标状态，如是，则机器人到达下一状态并监控不明物体，如不是，机器人到下一状态，机器人根据下一状态得到奖赏值，机器人等概率的选择更新Q_A值或Q_B值，然后更新Q值，知道收敛得到一个最优监控策略。本发明不但解决监控范围有限和摄像头容量有限的问题，而且不需考虑多台摄像头同步的问题，降低了成本。本发明还公开了一种基于深度带权双Q学习的大范围监控机器人。

主权项

1.一种基于深度带权双Q学习的大范围监控方法，其特征在于，包括如下步骤：/nS1、提供一大范围空间和一机器人，所述机器人在所述大范围空间中，在工作状态下通过双Q学习方法从当前状态到达目标状态，所述机器人的Q值表包括Q_A表和Q_B表，Q值通过深度估值网络参数θ进行计算，其中，/nQ_A值的更新公式如下：/n /nδ＝R(s,a)+γ[β_AQ_A(s′,a^*；θ)+(1-β_A)Q_B(s′,a^*；θ)]-Q_A(s,a；θ)；/nQ_A←Q_A(s,a；θ)+α(s,a)δ；/nQ_B值的更新公式如下：/n /nδ＝R(s,a)+γ[β_BQ_B(s′,a^*；θ)+(1-β_B)Q_A(s′,a^*；θ)]-Q_B(s,a；θ)；/nQ_B←Q_B(s,a；θ)+α(s,a)δ；/n其中，β_A，β_B表示权重；s′表示下一状态；a^*表示下一状态的最优动作；a_L表示下一状态的最差动作；c为自由参数，c≥0；δ表示时间差分；R表示奖赏值；γ表示目标折扣，0≤γ≤1；s表示当前状态，a表示当前动作；α表示学习率，α在区间(0,1)内，θ表示深度估值网络参数；/n工作状态时，所述大范围空间中有不明物体；/n目标状态时，所述不明物体在所述机器人的监控范围内；/nS2、所述机器人设置其初始状态为当前状态s；/nS3、所述机器人检测并判断当前状态s是否为工作状态，如否，进入S4，如是，进入S5；/nS4、所述机器人待机后到达下一状态s′，进入S11；/nS5、所述机器人检测并判断当前状态s是否为目标状态，如否，进入S6，如是，进入S7；/nS6、所述机器人选择并执行当前动作a后到达下一状态s′，进入S8；/nS7、所述机器人选择并执行当前动作a后到达下一状态s′并监控所述不明物体，进入S8；/nS8、所述机器人根据下一状态s′得到奖赏值R，进入S9；/nS9、所述机器人等概率的选择更新Q_A值或Q_B值并进行更新，进入S10/nS10、所述机器人判断其Q值表是否收敛，如否，进入S11，如是，进入S12；/nS11、所述机器人重置下一状态s′为当前状态s，回到S3；/nS12、所述机器人制定最优监控策略，进入S13；/nS13、所述机器人重置下一状态s′为当前状态s，进入S14；/nS14、所述机器人检测并判断当前状态s是否为工作状态，如否，进入S15，如是，进入S16；/nS15、所述机器人待机后到达下一状态s′，返回S13；/nS16、所述机器人通过深度估值网络检测并判断当前状态s是否为目标状态，如否，进入S17，如是，进入S18；/nS17、所述机器人根据所述最优监控策略到达下一状态s′，回到S13；/nS18、所述机器人选择并执行当前动作a后到达下一状态s′并监控所述不明物体，回到S13；/n其中，在同一大范围空间中，所述机器人仅初次选择并执行当前动作a前初始化其Q值、学习率α、目标折扣γ、深度估值网络的结构和参数θ、动作选择方式以及权重β。/n