[发明专利]基于强化学习的高空抛物轨迹识别方法

说明书

本发明公开了一种基于强化学习的高空抛物轨迹识别方法。所述方法包括：通过图像传感器采集被监控窗户区域的高空抛物轨迹图像；对所述高空抛物轨迹图像进行预处理得到预处理图像信息；根据所述预处理图像信息判断所述图像传感器是否被遮挡；在判断所述图像传感器未被遮挡时，将所述预处理图像信息输入至处理器，所述处理器获取经过强化学习后的预训练目标模型，并通过所述预训练目标模型对所述预处理图像信息进行高空抛物识别得到高空抛物识别结果信息；所述处理器将高空抛物识别结果信息存储至数据存储单元和云服务器及储存器中，以对所述预训练目标模型进行训练及更新。本发明通过强化学习模型对高空抛物轨迹进行识别，提高了识别准确率。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于强化学习的高空抛物轨迹识别方法。

背景技术

随着规模经济进一步发展，城市人口的聚集，人类的生产、生活环境充满了各种不确定性与风险性，高空抛物被称为“悬在城市上空的痛”，该行为一旦开始就不能被轻易控制与阻止，且呈迅速发展的态势，一旦着手，达到既遂标准，就难以立刻被控制与阻止，因此会在极短的时间内迅速蔓延，给公共安全造成极大的损害。尤其是近几年以来，各地关于高空抛物行为的民事以及刑事案件不断增加，且各地报纸也在纷纷报道关于高空抛物伤人的事件，于是人们纷纷呼吁希望制定法律对高空抛物行为进行严格规制，以保证人们“头顶的安全”。最高院在此背景下发布了《最高人民法院关于依法妥善审理高空抛物、坠物案件的意见》，即使并未造成实际损害后果，只要危及了社会公共安全，也按以危险方法危害公共安全罪定罪处罚。

对于传统的强化学习，其典型问题为马尔科夫决策过程(MDP)。马尔科夫决策过程包含一组状态S和动作A。状态的转换是通过概率P，奖励R和一个折衷参数gamma决定的。概率P反映了转换和状态转变的奖励之间的关系，状态和奖励仅依赖上一时间步的状态和动作。强化学习为Agent(一种软硬件系统)定义了环境，来实现某些动作以最大化奖励。对Agent的优化行为的基础由Bellman(贝尔曼)方程定义，这是一种广泛用于求解实际优化问题的方法。当所有可到达的状态处于可控并且能存储在计算机RAM(随机存取存储器)中时，强化学习对于环境来说是足够好用的。然而，当环境中的状态数超过现代计算机容量时，标准的强化学习模式就不太有效了。而且，在真实环境中，智能体必须面对连续状态、连续变量和连续控制(动作)的问题。所以，标准的、定义明确的强化学习Q表就被深度神经网络即Q网络取代了，后者可以把环境状态映射为智能体动作。网络架构、网络超参数的选择以及学习都在训练阶段(Q网络权重的学习)中完成。DQN(Deep Q Network，强化学习)允许智能体探索非结构化的环境并获取知识，经过时间积累，它们可以模仿人类的行为。所以在高空抛物轨迹识别系统中我们使用DQN算法来解决这个连续状态(不离散)、连续变量和连续控制(动作)的问题。

目前，市面上已经存在的高空抛物轨迹预测专利有：一种高空抛物检测方法、设备及存储介质(专利号：CN111931599A)和高空抛物雷达波视觉融合监控预警系统(专利号：CN201922207460.2)。前者是通过基于SUV(标准吸收值)等的图像处理算法来计算物体的运动状态从而实现预测，后者是使用了雷达系统对高空抛物轨迹进行监控。因此，市面上从智能预测算法的角度分析和预测高空抛物轨迹的思想较少。

发明内容

本发明的一个目的在于提出一种基于强化学习的高空抛物轨迹识别方法，以准确识别高空抛物轨迹。

为达到上述目的，本发明通过以下技术方案实现：

一种基于强化学习的高空抛物轨迹识别方法，包括以下步骤：

S1，通过图像传感器采集被监控窗户区域的高空抛物轨迹图像；

S2，对所述高空抛物轨迹图像进行预处理得到预处理图像信息；

S3，根据所述预处理图像信息判断所述图像传感器是否被遮挡；