[发明专利]基于联合信息编码的立体图像单流视觉显著性检测方法

说明书

本发明公开一种基于联合信息编码的立体图像单流视觉显著性检测方法。采集原始立体图像的彩色信息图、深度信息图及对应的真实场景标签图作为训练集；构建端到端的单流卷积神经网络；将训练集输入到构建的端到端的单流卷积神经网络进行训练；待测的立体图像输入到单流卷积神经网络后预测处理，输出结果。本发明解决了复杂场景、复杂结构、低对比度场景识别不准确的问题，在公开测试集上预测显著图结果清晰，目标准确。

技术领域

本发明涉及一种视觉显著性检测方法，尤其是涉及一种基于联合信息编码的立体图像单流视觉显著性检测方法。

背景技术

人类为了避免大脑的过度运算进化出了一种叫做注意力机制的视觉机制，当视觉场景通过眼睛传入大脑进行运算的时候，人类自觉对场景的各个物体进行选择性处理，侧重关注自己感兴趣的一部分。计算机视觉任务中显著性检测由此而来。

传统的显著性检测通过手工提取特征达到预测显著性的功能，但传统方法的效率和精度远远跟不上工业发展和应用。自从1994年LeNet被Lecun提出以来，选择一个更简单高效的方法去完成这些计算机视觉任务成为了研究者们新的目标，但因为硬件上的限制和网络深度的缘由，此项工作进展苦难重重，少有方法能达到理想的结果。近年来，VGGNet和ResNet的提出突破了神经网络深度的限制，深度学习方法在显著性检测上不断刷新各项指标，本发明同样建立在这个背景之下。通过彩色图像进行显著性检测已经能达到很好的结果，然而在某些场景上依旧存在问题，如复制场景、低对比度，结构复杂图像等。随着传感器等硬件设施的反战，深度图像有效的弥补了输入信息的不足，深度图像能在二维图像中通过像素值大小表示目标物体的近远程度，由此深度辅助彩色信息图建立起一个具有立体信息图像的输入数据成为现有显著性检测比较有效的方法。

现有的深度图辅助彩色信息图的方法大多通过建立两个基础网络，但是这样带来的问题是计算机算力的消耗，无效的跨模态沟通不但不能增加模型的精度，反倒会给模型生成的显著图带来噪声，我们在吸取现有网络的经验上建立了一个编码联合信息处理，解码多模态分离的网络，这样的网络采用一个基础网络预训练来节省算力，而后通过高低特征特异性处理，联合信息彩色信息分离运算来使我们的方法运算效率大大增加，在运算效率增加的同时我们的精度也有所上升，实验证明我们的方法生成的显著图具有较高精度，在多目标、结构复杂场景检测优秀。

发明内容

为了解决背景技术中的问题，本发明提供了一种基于联合信息编码的单流视觉显著性检测方法；通过对立体信息进行联合信息编码操作，采用单流网络模型结构，在节省算力的同时不降低精度，又使用特异性分离操作的策略，本发明对高低级特征、彩色信息、联合信息有各自单独的处理方法，对低级特征通过反转注意力关注更多边界信息，对高级特征通过多尺度语义提取块关注更多高级语义信息，对于彩色信息提取高级特征进行聚合操作，之后将所有分离操作的信息流依次结合起来并实行多层次监督。本发明解决了复杂场景、复杂结构、低对比度场景识别不准确的问题，在公开测试集上预测显著图结果清晰，目标准确。

本发明采用的技术方案包括以下步骤：

步骤1：选取N幅原始立体图像的彩色信息图、深度信息图及对应的真实场景标签图作为训练集；

步骤2：构建端到端的单流卷积神经网络，单流卷积神经网络包括输入层、隐藏层和输出层；隐藏层包括五个依次连接的神经网络块、三个自适应卷积块、五个信息融合块、三个反转注意力层、一个多尺度语义提取块和三个二次残差注意力块，输出层主要由五个输出层组成；

步骤3：将步骤1得到的训练集输入到步骤2构建的单流卷积神经网络中进行训练：训练过程中，每次迭代训练处理得到每幅原始立体图像的显著性预测图，计算每幅原始立体图像的显著性预测图与真实场景标签图构成的损失函数值，损失函数值采用采用二分类交叉熵损失函数获得；