[发明专利]一种船舶航行环境视觉感知设备及方法

权利要求书

1.一种船舶航行环境视觉感知设备，其特征在于，包括多个不同拍摄角度的相机，其中，每个所述相机的镜头后面放置有偏振片，内部包括红外光光路通道和可见光光路通道，用于拍摄出对应的红外偏振图像和可见光偏振图像，生成融合偏振图像。

2.一种船舶航行环境视觉感知方法，其特征在于，包括：

获取多帧融合偏振图像、船舶航行环境的雷达数据图和RGB图像，其中，所述融合偏振图像根据权利要求1所述的船舶航行环境视觉感知设备拍摄得到；

将所述融合偏振图像、所述雷达数据图和所述RGB图像进行信息融合后，输入至改进条件生成式对抗网络进行数据增强，生成融合增强数据；

将所述融合增强数据输入至多尺度卷积神经网络进行场景分割识别，生成场景分割图，识别船舶航行环境中的不同物体。

3.根据权利要求2所述的船舶航行环境视觉感知方法，其特征在于，所述将所述融合偏振图像、所述雷达数据图和所述RGB图像进行信息融合包括：

将所述融合偏振图像、所述雷达数据图和所述RGB图像分别作为模态样本数据，生成多模态数据集；

当两个所述模态样本数据之间的向量余弦相似度小于预设的互补阈值，则判断为两个模态互斥；

当两个所述模态样本数据之间的向量余弦相似度大于或等于所述互补阈值，则进行模态融合处理，生成信息融合数据。

4.根据权利要求2所述的船舶航行环境视觉感知方法，其特征在于，所述输入至改进条件生成式对抗网络进行数据增强，生成融合增强数据包括：

将所述信息融合数据输入至所述改进条件生成式对抗网络，输出所述融合增强数据，其中，所述改进条件生成式对抗网络依次由生成网络层、高斯混合层和判别网络层构成，所述高斯混合层是包括多个正态分布构成的混合模型。

5.根据权利要求2所述的船舶航行环境视觉感知方法，其特征在于，所述多尺度卷积神经网络依次包括编码器层、多尺度空洞空间金字塔池化层、解码器层以及Softmax分类器，其中：

所述编码器层，包括两个第一残差块结构，其中，对应的卷积特征层通道数分别为第一预设数目和第二预设数目；

所述多尺度空洞空间金字塔池化层，包括具有并行的多个通道的空洞空间金字塔池化层和融合层；

所述解码器层，包括两个第二残差块结构和输出映射层，输出高分辨率特征图，其中，对应的反卷积特征层通道数分别为所述第一预设数目和所述第二预设数目；

所述Softmax分类器，用于根据高分辨率特征图，计算所述确定每个像素对应于不同标签类别的后验概率值，输出场景分割图。

6.根据权利要求5所述的船舶航行环境视觉感知方法，其特征在于，所述输出映射层使用1×1的卷积核，将所述第二残差块结构输出的多通道特征图映射到通道数为k的所述高分辨率特征图，其中，k表示标签类别的个数，所述标签类别包括水，路，空及障碍物。

7.根据权利要求5所述的船舶航行环境视觉感知方法，其特征在于，所述空洞空间金字塔池化层包括并行的第一卷积层、第一空洞卷积层、第二空洞卷积层、第三空洞卷积层以及第四空洞卷积层，其中，各个并行通道的扩张率互不相同。

8.根据权利要求7所述的船舶航行环境视觉感知方法，其特征在于，空洞卷积操作的过程通过如下公式表示：

y_i＝∑_kx_i+r·kw_k

其中，w_k表示卷积核，x_i+r·k表示输入特征层，y_i表示输出特征层的第i个像素点，r表示扩张率，代表在输入特征层上引入了r-1个小孔，k表示卷积数目。

9.根据权利要求7所述的船舶航行环境视觉感知方法，其特征在于，所述融合层将所述第一卷积层、所述第一空洞卷积层、所述第二空洞卷积层、所述第三空洞卷积层以及所述第四空洞卷积层的输出进行融合，并输入至所述解码器层的残差块。

10.根据权利要求6所述的船舶航行环境视觉感知方法，所述多尺度卷积神经网络训练至收敛过程中采用的交叉熵损失函数通过如下公式表示：

其中，X＝{xi,i＝1,2,…,|X|}表示所述多尺度卷积神经网络的输入图像，|X|表示所述输入图像的像素个数，L(w)表示所述交叉熵损失函数，W表示网络中的权重参数，表示在第i个像素上、预测为第j个标签类别的概率，βij表示在训练时候每个像素的权重影响因子，通过进行自动调节，P(y_i＝j|X；W)表示第j个标签类别的对应概率。