[发明专利]一种基于时空2D卷积神经网络的航拍视频分析方法

说明书

本发明属于遥感影像智能化分析领域，具体涉及一种基于时空2D卷积神经网络的航拍视频分析方法，该方法包括实时获取航拍视频数据，对获取的航拍视频数据进行预处理；将预处理后的航拍视频数据输入到训练好的航拍视频识别模型中进行识别分析处理；对识别结果进行统计分析；所述航拍视频识别模型包括2D卷积神经网络、长时序特征提取模块LTFE、短期运动特征提取模块SMFE以及特征融合模块FFM，所述长时序特征提取模块LTFE、短期运动特征提取模块SMFE和特征融合模块FFM设置在2D卷积神经网络中；本发明采用改进的2D卷积神经网络模型并结合长时序特征提取模块、短期运动特征提取模块和特征融合模块，提高了计算效率以及航拍视频的识别准确率。

技术领域

本发明属于遥感影像智能化分析领域，具体涉及一种基于时空2D卷积神经网络的航拍视频分析方法。

背景技术

随着遥感与计算机视觉领域的不断发展，由于无人机能以较低的成本提供实时的高分辨率视频，能显著地减少对天气和环境的依赖，以更高的灵活性来面对现实中的各种问题。但是随着无人机制造工艺的不断完善，使得空中的无人机越来越多，对应创建的视频数据也越来越多，如何对这些视频数据进行自动识别分析是非常重要的。

现有的视频处理方法包括两类，一类是基于双流的神经网络方法，另一类是基于3D卷积神经网络的方法。基于双流的神经网络方法是指以RGB帧为输入的RGB流和以光流帧为输入的光流，RGB流对外观特征进行建模，而光流对时序特征进行建模；但是光流无法捕获长时序信息，而且在空间和时间上对光流进行提取的计算量是非常巨大的，这就限制了其在工业中的广泛应用。基于3D卷积神经网络的方法是采用3D卷积从扩展的时间维度上捕捉时间特征和空间特征，同时通过叠加3D卷积捕获长时序信息；但是3D卷积计算成本同样非常巨大，无法在边缘设备上进行部署。由于以上现有技术中处理视频方法的计算量较大，不能高效的处理数据，急需一种新的方法对视频数据进行处理。

发明内容

为解决以上现有技术存在的问题，本发明提出了一种基于时空2D卷积神经网络的航拍视频分析方法，该方法包括：实时获取航拍视频数据，对获取的航拍视频数据进行预处理；将预处理后的航拍视频数据输入到训练好的航拍视频识别模型中进行识别分析处理；对识别结果进行统计分析；所述航拍视频识别模型包括2D卷积神经网络、长时序特征提取模块LTFE、短期运动特征提取模块SMFE以及特征融合模块FFM，长时序特征提取模块LTFE、短期运动特征提取模块SMFE和特征融合模块FFM均设置在2D卷积神经网络中。

优选的，对航拍视频数据进行预处理包括：将实时获取的每个无人机航拍视频数据分为等长的T个片段，从每个片段中随机抽取一帧数据形成T帧输入序列。

优选的，航拍视频识别模型中的2D卷积神经网络为Resnet-50卷积神经网络，该网络包括一个卷积层、十六个Building block结构、一个全连接层以及一个平均池化层；将长时序特征提取模块LTFE和短期运动特征提取模块SMFE并联插入到每个Building block结构的残差块中，并用特征融合模块FFM将长时序特征和短期运动特征进行融合，构成航拍视频识别模型。

优选的，对航拍视频识别模型进行训练的过程包括：

S1：获取原始航拍数据集，对原始航拍数据集进行划分，得到训练集和测试集；对训练集中的数据进行预处理，生成T帧输入序列；

S2：将T帧输入序列输入到航拍视频识别模型中进行训练；

S3：将T帧输入序列输入到航拍视频识别模型的卷积层中进行局部特征提取，得到局部特征图；

S4：将局部特征图输入到各个Building block结构中，得到融合特征；

S5：将所有的融合特征输入到全连接层和平均池化层，得到每一帧图像的分类向量；

S6：采用Softmax函数对分类向量进行归一化处理，得到分类结果；