[发明专利]一种基于深度学习的航标灯质智能识别方法

权利要求书

1.一种基于深度学习的航标灯质智能识别方法，其特征在于，包括如下步骤：

S1、采集视频数据，并对视频数据进行预处理；

S2、构建灯闪网络，并对其进行训练；灯闪网络以预处理后视频的亮度通道图像为输入，利用循环神经网络提取航标灯的亮度特征，再利用循环神经网络提取亮度特征形成的灯闪周期时序；所述步骤S2具体为：

S21、构建灯闪网络：灯闪网络包括视频帧输入层、注意力机制层、视频帧特征提取层、LSTM时序学习层；

所述视频帧输入层输入的视频帧维度为[(B,x,y,z,o)]，其中，B表示一次输入网络的数据量batch_size；x表示时间步长，y表示图像的通道数；(z,o)表示图像的输入尺寸大小；同时将视频帧输入到混合注意力，对特征向量进行优化计算；

所述注意力机制层的输入为每一个视频帧，即维度为[(B,y,z,o)]，注意力机制层不改变特征维度，输出维度同样为[(B,y,z,o)]；

所述视频帧特征提取层的输入为每一个经过注意力机制层的视频帧，即维度为[(B,y,z,o)]；在原始视频帧特征提取层的基础上，添加了全连接层将输出维度变成[(B,a)]，a表示该层输出神经元个数；放入到时序学习层中进行训练，同时在全连接层之前加入批量归一化(BN)层；

所述LSTM时序学习层连接ResNet152模型，其激活函数设为relu，在最后的预测时间点添加全连接层，使得最后输出的维度为[(B,b)]，b为特征数量，即为视频段相对b个灯闪周期类别所得分数，其中评分最高的即为视频段所对应的类别；

S22、训练灯闪网络：前向传播和反向传递；具体的，前向传播在得到一个预测的结果后，需要和真实标签值进行损失计算，在反向传播的过程中，通过计算的损失值对参数进行更新，对于损失函数，采用的是交叉熵，其计算公式如下所示：

其中，p是真实值，采用one-hot形式；q是预测值；通过训练，直到得到稳定的小的损失值，当最后的损失值趋于稳定，即得到了拟合效果最好的权重，将其作为最终的预测模型；

S3、构建颜色网络，并对其进行训练；颜色网络以视频的RGB图像为输入，利用卷积神经网络提取航标灯的颜色特征；所述步骤S3具体为：

S31、构建颜色网络：颜色网络包括视频帧输入层、注意力机制层、视频帧特征提取层；

所述视频帧输入层输入的视频帧维度为[(B,z,o,y)]，(z,o,y)表示y通道尺寸为z*o的图像；

所述注意力机制层输入的视频帧维度为[(B,z,o,y)]，对特征向量进行优化计算，输出维度为[(B,z,o,y)]的特征图，将计算好的特征向量送入视频帧特征提取层进行计算；

所述视频帧特征提取层的输入为每一个经过注意力机制层的视频帧，输出一个维度为(B，w)的向量，其中，w为最终输出相对于w个类别的w个概率值，概率值最大的即为最终的颜色分类；

S32、训练颜色网络：前向传播和反向传递；具体的训练过程与灯闪网络的训练过程相同；

S4、将灯闪网络和颜色网络的识别结果进行融合，获取航标灯颜色加灯闪周期的灯质分类。

2.根据权利要求1所述的基于深度学习的航标灯质智能识别方法，其特征在于，所述步骤S1具体为：

S11、视频切割：根据航标灯质的周期规律将各种灯质现场拍摄的视频分割成每10s的多个小视频段；

S12、视频切片：每隔10帧对上述的小视频段进行一次切割；

S13、RGB图像通道分割：将RGB图像转成HSV格式，并只保留其中的亮度通道图像。