[发明专利]基于深度带权双Q学习的大范围监控方法及监控机器人

说明书

本发明公开了一种基于深度带权双Q学习的大范围监控方法，首先，提供Q值表包括Q_A表和Q_B表的机器人，其次，不明物体进入大范围空间以触发机器人，再次，机器人感知当前状态s，判断当前状态s是否为目标状态，如是，则机器人到达下一状态并监控不明物体，如不是，机器人到下一状态，机器人根据下一状态得到奖赏值，机器人等概率的选择更新Q_A值或Q_B值，然后更新Q值，知道收敛得到一个最优监控策略。本发明不但解决监控范围有限和摄像头容量有限的问题，而且不需考虑多台摄像头同步的问题，降低了成本。本发明还公开了一种基于深度带权双Q学习的大范围监控机器人。

技术领域

本发明涉及一种大范围监控领域，具体涉及一种基于深度带权双Q学习的大范围监控方法及监控机器人。

背景技术

在我们平时的生活中，监控系统已经无处不在，例如：交通路口的红绿灯监控、住宅小区里的安全监控等。监控系统结合多媒体技术、计算机网络、工业控制以及人工智能等多方面的知识，可用于安全防范、信息获取和调度指挥等方面，还可为生产流程，远程教育提供多种服务。但在一些需要完成具体任务的大范围环境中，例如寻找并追踪监控不明物体，目前的监控系统还不能完全布控。原因在于：一方面由于监控摄像头的固有缺陷，例如监控范围，信息容量有限等问题；另一方面需要考虑布控的成本，大范围布控需要多摄像头、多地的同步监控，布控难，成本高。综上所述，如何对大范围的环境进行监控已经成为一项急需解决的问题。

现有的监控系统存在如下缺陷：①有线模拟视频信号的传输距离有限。当传输距大于1km时，信号容易产生衰耗、畸变、群延等问题，图像质量将严重下降。②监控系统大多以录像的形式保存信息，但这种方法的容量有限，且需定期上传或替换存储介质，不能实现自动化监控。③多摄像头的监控往往成本过高，同时现有的监控摄像头还未考虑多设备同步的问题。

发明内容

本发明的发明目的是提供一种基于深度带权双Q学习的大范围监控方法, 不但解决了因监控范围过大导致监控系统无法完全布控的难题，而且解决了摄像头容量有限的问题。同时通过深度估值网络，直接对图像信息进行特征提取，自行判断是否有不明物体出现在监视范围内，其中特征并直接与Q值表关联，省去了多台摄像头同步的问题，降低了成本。

为实现上述发明目的，本发明提供以下的技术方案：一种基于深度带权双 Q学习的大范围监控方法，包括如下步骤：

S1、提供一大范围空间和一机器人，所述机器人在所述大范围空间中，在工作状态下，通过双Q学习方法从当前状态到达目标状态，所述机器人的Q值表包括Q_A表和Q_B表，Q值通过深度估值网络参数θ进行计算，其中，

Q_A值的更新公式如下：

δ＝R(s,a)+γ[β_AQ_A(s′,a^*；θ)+(1-β_A)Q_B(s′,a^*；θ)]-Q_A(s,a；θ)；

Q_A←Q_A(s,a；θ)+α(s,a)δ；

Q_B值的更新公式如下：

δ＝R(s,a)+γ[β_BQ_B(s′,a^*；θ)+(1-β_B)Q_A(s′,a^*；θ)]-Q_B(s,a；θ)；

Q_B←Q_B(s,a；θ)+α(s,a)δ；