[发明专利]基于强化学习的高空抛物轨迹识别方法

权利要求书

1.一种基于强化学习的高空抛物轨迹识别方法，其特征在于，包括以下步骤：

S1，通过图像传感器采集被监控窗户区域的高空抛物轨迹图像；

S2，对所述高空抛物轨迹图像进行预处理得到预处理图像信息；

S3，根据所述预处理图像信息判断所述图像传感器是否被遮挡；

S4，在判断所述图像传感器未被遮挡时，将所述预处理图像信息输入至处理器，所述处理器获取经过强化学习后的预训练目标模型，并通过所述预训练目标模型对所述预处理图像信息进行高空抛物识别得到高空抛物识别结果信息；

S5，所述处理器将高空抛物识别结果信息存储至数据存储单元和云服务器及储存器中，以对所述预训练目标模型进行训练及更新；

所述S4中预训练目标模型的获取步骤包括：

S4.1，初始化动作模型和预训练之前的目标模型；

S4.2，建立仿真环境，所述动作模型将最优动作参数传输给所述仿真环境；

S4.3，所述仿真环境根据所述最优动作参数仿真得到仿真后的动作参数，并将所述仿真后的动作参数存储至所述数据存储单元；

S4.4，所述动作模型从所述数据存储单元中获取所述仿真后的动作参数，以对所述动作模型进行训练更新；

S4.5，所述动作模型训练C次后，将最新的所述仿真后的动作参数拷贝至所述目标模型，以对所述目标模型进行训练更新，得到所述预训练目标模型，其中C为大于或等于2的整数；

所述S4.2中建立仿真环境的步骤包括：

S4.2.1，获取高空抛物的运动物体的物理特征、动态特性和周边环境特征；

S4.2.2，结合高空抛物所在环境的空气阻力和风速变量，对所述高空抛物的运动物体的物理特征、动态特性和周边环境特征进行分析，以建立所述仿真环境。

2.如权利要求1所述的基于强化学习的高空抛物轨迹识别方法，其特征在于，所述S2包括：

S2.1，将所述图像传感器采集到的所述高空抛物图像转换成低维度灰度图像；

S2.2，对所述灰度图像进行仿射变换；

S2.3，通过空域滤波和时域滤波的方式对仿射变换后的灰度图像进行噪声消除；

S2.4，采用背景差分和帧间差分融合方法，获取噪声消除后的每帧图像中的运动物体的目标检测框，并通过卡尔曼滤波根据前一帧图像中的目标检测框预测后一帧图像中的运动物体的目标检测框，以得到所述预处理图像信息。

3.如权利要求1所述的基于强化学习的高空抛物轨迹识别方法，其特征在于，所述S3包括：

S3.1，获取所述预处理图像信息中的像素值和分布特征；

S3.2，根据所述预处理图像信息中的像素值大小和分布特征，对所述图像传感器是否被遮挡进行判断；

S3.3，当判断所述图像传感器被遮挡时，将所述预处理图像信息存储至所述云服务器及储存器中。

4.如权利要求1所述的基于强化学习的高空抛物轨迹识别方法，其特征在于，在所述S2之后所述S3之前，所述方法还包括：将所述预处理图像信息存储至所述云服务器及储存器中。

5.如权利要求1所述的基于强化学习的高空抛物轨迹识别方法，其特征在于，所述S4.2中的最优动作参数包括：高空抛物轨迹图像、高空抛物预测轨迹和所述目标模型参数。

6.如权利要求1所述的基于强化学习的高空抛物轨迹识别方法，其特征在于，所述S4.3中的仿真后的动作参数包括：当前状态的高空抛物轨迹图像、当前高空抛物预测轨迹、当前获得奖励和下一状态的高空抛物轨迹图像。

7.如权利要求1所述的基于强化学习的高空抛物轨迹识别方法，其特征在于，所述动作模型和所述目标模型在更新过程中不断获取高空抛物轨迹预测误差信息，以根据所述误差信息和相邻帧高空抛物轨迹图像的误差数值改变预测策略。

8.如权利要求1所述的基于强化学习的高空抛物轨迹识别方法，其特征在于，所述S5还包括：将所述高空抛物识别结果信息与实际高空抛物轨迹进行对比，得到实际预测误差信息，并将所述实际预测误差信息反馈至所述数据存储单元中。