[发明专利]一种无人机监控场景下的人体行为识别方法、系统及装置

权利要求书

1.一种无人机监控场景下的人体行为识别方法，其特征在于，包括以下步骤：

通过无人机监控摄像头对所需的监控地点进行视频拍摄并预处理，得到样本视频；

基于样本视频，对样本视频中人体行为进行分类，并创建卷积神经网络模型和训练测试集样本库，进而通过训练测试集样本库对卷积神经网络模型进行训练；

将实际监控视频进行处理后输入至训练后的卷积神经网络模型中，得到实际监控视频中的人体行为的分类类型。

2.根据权利要求1所述的一种无人机监控场景下的人体行为识别方法，其特征在于：所述的通过无人机监控摄像头对所需的监控地点进行视频拍摄并预处理，得到样本视频，这一步骤具体包括：

通过无人机监控摄像头对所需的监控地点进行视频拍摄，得到初步视频；

根据初步视频对应的监控地点，对初步视频进行背景去除处理，得到二次处理视频；

根据二次处理视频，得到能框住每一帧中人体行为的最小边界框；

对二次处理视频中的空间信息、时间信息和深度信息进行规范化处理，得到规范化视频；

将得到的规范化视频进行水平翻转处理形成翻转后的规范化视频，结合原本的规范化视频，得到样本视频。

3.根据权利要求2所述的一种无人机监控场景下的人体行为识别方法，其特征在于：所述的对二次处理视频进行空间规范化处理、时间规范化处理和深度信息规范化处理，得到规范化视频，这一步骤具体包括：

将二次处理视频中的图像缩放至预设的尺寸，得到空间规范化视频；

将所有空间规范化视频通过时间规范化公式处理至统一的视频长度，得到时间规范化视频；

通过MiniMax算法将所有时间规范化视频的像素值规范化到[0,1]范围内，得到规范化视频。

4.根据权利要求1所述的一种无人机监控场景下的人体行为识别方法，其特征在于：所述的基于样本视频，对样本视频中人体行为进行分类，并创建卷积神经网络模型和训练测试集样本库，进而通过训练测试集样本库对卷积神经网络模型进行训练，这一步骤具体包括：

基于样本视频，对样本视频中人体行为进行分类并标注，得到行为类别，并创建卷积神经网络模型和训练测试集样本库；

设定卷积神经网络模型中在分类器阶段的全连接层神经元使用随机Dropout方法，且将设定输出为0的神经元比例在每次网络更新时都进行随机变化；

将训练测试集样本库的样本视频进行分段，得到分段视频，并将分段视频作为卷积神经网络模型输入；

将标注的行为类别作为输出，通过误差反向传播算法训练卷积神经网络模型的连接参数。

5.根据权利要求4所述的一种无人机监控场景下的人体行为识别方法，其特征在于：所述的将训练测试集样本库的样本视频进行分段，得到分段视频，并将分段视频作为卷积神经网络模型输入，这一步骤具体包括：

将帧数为N_F的规范化视频以预设的步长L_Stride进行分段，每段包括预设的帧数L_Seg，则分段数为N_seg＝1+(N_F-L_Seg)/L_Stride，并根据预设的采样率进行采样，形成得到第一视频段矩阵；

以初步视频中每一帧的左手关节为中心，根据预设的帧大小截取并组成新视频，对新视频采取上进行分段处理，得到第二视频段矩阵；

将第一视频段矩阵和第二视频段矩阵进行融合得到第三视频段矩阵，同时将第三视频段矩阵中的分段视频输入到卷积神经网络模型中。

6.根据权利要求3所述的一种无人机监控场景下的人体行为识别方法，其特征在于：所述的时间规范化公式为：

其中，N和N_F分别为规范化前后视频含有的帧数，则规范化后第j帧来自于规范化前视频中的第i帧，括号表示上取整。