[发明专利]基于联合信息编码的立体图像单流视觉显著性检测方法

权利要求书

1.一种基于联合信息编码的立体图像单流视觉显著性检测方法，其特征在于，包括以下步骤：

步骤1：选取N幅原始立体图像的彩色信息图、深度信息图及对应的真实场景标签图作为训练集；

步骤2：构建端到端的单流卷积神经网络，单流卷积神经网络包括输入层、隐藏层和输出层；隐藏层包括五个依次连接的神经网络块、三个自适应卷积块、五个信息融合块、三个反转注意力层、一个多尺度语义提取块和三个二次残差注意力块，输出层主要由五个输出层组成；

步骤3：将步骤1得到的训练集输入到步骤2构建的单流卷积神经网络中进行训练：训练过程中，每次迭代训练处理得到每幅原始立体图像的显著性预测图，计算每幅原始立体图像的显著性预测图与真实场景标签图构成的损失函数值，损失函数值采用采用二分类交叉熵损失函数获得；

步骤4：重复执行步骤3共T次，并共得到N×T个二分类交叉熵损失函数值；然后从N×T个损失函数值中找出最小的损失函数值，将最小的损失函数值对应的权值矢量和偏置项作为单流卷积神经网络的最终权值矢量和最终偏置项，获得训练好的单流卷积神经网络；

步骤5：利用训练好的单流卷积神经网络对待预测立体图像的彩色信息图和深度信息图进行预测处理，输出获得对应的显著性预测图，实现立体图像的视觉显著性检测。

2.根据权利要求1所述的一种基于联合信息编码的立体图像单流视觉显著性检测方法，其特征在于，所述的单流卷积神经网络中：

五个依次连接的神经网络块采用Res2net中的编码部分，第一个神经网络块的输入为输入层的输出；第一个、第二个、第三个、第四个和第五个神经网络块的输出分别输入第一个、第二个、第三个、第四个和第五个信息融合块；

每个反转注意力层包括输入端Ⅰ和输入端Ⅱ两个输入端；第一个反转注意力层输入端Ⅰ的输入为第三个信息融合块的输出，输入端Ⅱ的输入为第四个信息融合块依次经第六十二个卷积层、第一个上采样层的输出；第二个反转注意力层输入端Ⅰ的输入为第一个反转注意力层经第二个上采样层的输出，输入端Ⅱ的输入为第二个信息融合块经第六十三个卷积层的输出；第三个反转注意力层输入端Ⅰ的输入为第一个信息融合块经第六十四个卷积层的输出，输入端Ⅱ的输入为第二个反转注意力层的输出；第一个反转注意力层经第二个上采样层的输出、第二个反转注意力层的输出和第三个反转注意力层的输出进行通道堆叠后输入第一个输出层；

第五个信息融合块依次经多尺度语义提取块、第一个二次残差注意力块、第二个二次残差注意力块和第三个二次残差注意力块输入第三个输入层；

第三个、第四个和第五个神经网络块的输出分别输入第一个、第二个和第三个自适应卷积块，第一个自适应卷积块的输出分别输入特征聚合模块和第三个二次残差注意力块，第二个自适应卷积块的输出分别输入特征聚合模块和第二个二次残差注意力块，第三个自适应卷积块的输出分别输入特征聚合模块和第一个二次残差注意力块；

特征聚合模块经第二个输出层的输出与第三个输出层的输出进行通道叠加后输入第四个输出层；

第一个输出层的输出和第四个输出层的输出进行通道叠加后输入第五个输出层，第五个输出层的输出作为输出层的输出。

3.根据权利要求1所述的一种基于联合信息编码的立体图像单流视觉显著性检测方法，其特征在于，每个输入信息融合块的特征图按批次均分切割为彩色特征图和深度特征图，彩色特征图和深度特征图通过张量相乘得到中间特征图，彩色特征图、深度特征图和中间特征图通过张量相加后得到的特征图作为每个信息融合块的输出。

4.根据权利要求1所述的一种基于联合信息编码的立体图像单流视觉显著性检测方法，其特征在于，每个反转注意力层包括一个S型激活函数层、五个中间块和一个卷积层，输入端Ⅰ输入的特征图经取反操作后输入S型激活函数层输出按通道排列的权重，输入端Ⅱ输入的特征图经第一个注意力块的输出与S型激活函数层输出的权重张量相乘后输入第二个中间块，第二个中间块依次经第三个中间块、第四个中间块、一个卷积层的输出与输入端Ⅰ输入的特征图相加后的输出作为反转注意力层的输出；

每个中间块包括依次连接的一个卷积层和一个激活层。