[发明专利]一种基于双学习网络的立体图像视觉显著提取方法

说明书

本发明公开了一种基于双学习网络的立体图像视觉显著提取方法，其将人类注视图、立体图像的左视点彩色图像和左视差图像构成训练集；然后在训练集的基础上利用VGG网络模型中的特征提取技术构建深度学习模型；接着以训练集中的人类注视图为监督，以训练集中的左视点彩色图像和左视差图像为输入参数，对深度学习模型进行训练；再将待视觉显著提取的立体图像的左视点彩色图像和左视差图像作为输入参数，输入到训练得到的模型中，得到待视觉显著提取的立体图像的视觉显著图像；优点是其能够快速的运行检测，并且具有较强的鲁棒性和预测准确性。

技术领域

本发明涉及一种立体图像处理技术，尤其是涉及一种基于双学习网络的立体图像视觉显著提取方法。

背景技术

在人类视觉接收与信息处理中，由于大脑资源有限以及外界环境信息重要性区别，因此在处理过程中人脑对外界环境信息并不是一视同仁的，而是表现出选择特征。人们在观看图像或者视频片段时注意力并非均匀分布到图像的每个区域，而是对某些显著区域关注度更高。如何将视频中视觉注意度高的显著区域检测并提取出来是计算机视觉以及基于内容的视频检索领域的一个重要的研究内容。而随着立体视频显示技术和高质量立体视频内容获取技术的快速发展，针对立体图像/视频的显著区域检测及建模也是一个非常重要的研究内容。

然而，立体图像并不是平面图像的简单空间拓展，因此人眼感知立体图像产生立体视觉的过程也不是简单的左视点图像和右视点图像叠加的过程，因此，立体视觉特征(例如：三维视觉注意力)并不是平面视觉特性的简单拓展。然而，现有的立体图像显著图提取方法还停留在平面图像显著提取方法的简单拓展上。因此，如何从立体图像中有效地提取出立体视觉特征、如何使得提取出的立体视觉特征符合人眼三维观看行为都是在对立体图像进行视觉显著图提取过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种基于双学习网络的立体图像视觉显著提取方法，其能够快速的运行检测，并且具有较强的鲁棒性和预测准确性。

本发明解决上述技术问题所采用的技术方案为：一种基于双学习网络的立体图像视觉显著提取方法，其特征在于包括以下步骤：

步骤一：选择一个包含有人类注视图及其对应的立体图像的数据库；然后将数据库中的每幅人类注视图缩放至80×60尺寸，将数据库中的每幅人类注视图对应的立体图像的左视点彩色图像和对应的立体图像的左视差图像均缩放至640×480尺寸；再将所有 80×60尺寸的人类注视图、所有640×480尺寸的左视点彩色图像、所有640×480尺寸的左视差图像构成训练集，将训练集中的第k幅80×60尺寸的人类注视图记为将训练集中的第k幅左视点彩色图像记为将训练集中的第k 幅左视差图像记为与和对应；其中，k为正整数，1≤k≤K，K表示数据库中包含的人类注视图的总幅数，也为数据库中包含的立体图像的总幅数，K≥50，表示中坐标位置为(x₈₀,y₆₀) 的像素点的像素值，表示中坐标位置为(x₆₄₀,y₄₈₀)的像素点的像素值，表示中坐标位置为(x₆₄₀,y₄₈₀)的像素点的像素值， 1≤x₈₀≤80,1≤y₆₀≤60，1≤x₆₄₀≤640,1≤y₄₈₀≤480；

步骤二：利用VGG网络模型中的特征提取技术构建深度学习模型，记为M_S，其中，深度学习模型的第1个网络块至第5个网络块用于提取彩色特征、第6个网络块至第8个网络块用于提取视差特征、第9个网络块用于融合彩色特征和视差特征、第10 个网络块用于进行位置偏好学习、第11个网络块用于进行卷积学习、第12个网络块用于视觉显著特征融合；