[发明专利]一种基于双学习网络的立体图像视觉显著提取方法

摘要

本发明公开了一种基于双学习网络的立体图像视觉显著提取方法，其将人类注视图、立体图像的左视点彩色图像和左视差图像构成训练集；然后在训练集的基础上利用VGG网络模型中的特征提取技术构建深度学习模型；接着以训练集中的人类注视图为监督，以训练集中的左视点彩色图像和左视差图像为输入参数，对深度学习模型进行训练；再将待视觉显著提取的立体图像的左视点彩色图像和左视差图像作为输入参数，输入到训练得到的模型中，得到待视觉显著提取的立体图像的视觉显著图像；优点是其能够快速的运行检测，并且具有较强的鲁棒性和预测准确性。

主权项

1.一种基于双学习网络的立体图像视觉显著提取方法，其特征在于包括以下步骤：步骤一：选择一个包含有人类注视图及其对应的立体图像的数据库；然后将数据库中的每幅人类注视图缩放至80×60尺寸，将数据库中的每幅人类注视图对应的立体图像的左视点彩色图像和对应的立体图像的左视差图像均缩放至640×480尺寸；再将所有80×60尺寸的人类注视图、所有640×480尺寸的左视点彩色图像、所有640×480尺寸的左视差图像构成训练集，将训练集中的第k幅80×60尺寸的人类注视图记为将训练集中的第k幅左视点彩色图像记为将训练集中的第k幅左视差图像记为与和对应；其中，k为正整数，1≤k≤K，K表示数据库中包含的人类注视图的总幅数，也为数据库中包含的立体图像的总幅数，K≥50，表示中坐标位置为(x₈₀,y₆₀)的像素点的像素值，表示中坐标位置为(x₆₄₀,y₄₈₀)的像素点的像素值，表示中坐标位置为(x₆₄₀,y₄₈₀)的像素点的像素值，1≤x₈₀≤80,1≤y₆₀≤60，1≤x₆₄₀≤640,1≤y₄₈₀≤480；步骤二：利用VGG网络模型中的特征提取技术构建深度学习模型，记为MS，其中，深度学习模型的第1个网络块至第5个网络块用于提取彩色特征、第6个网络块至第8个网络块用于提取视差特征、第9个网络块用于融合彩色特征和视差特征、第10个网络块用于进行位置偏好学习、第11个网络块用于进行卷积学习、第12个网络块用于视觉显著特征融合；步骤三：以训练集中的人类注视图为监督，以训练集中的左视点彩色图像和左视差图像为输入参数，对MS进行训练，将训练得到的模型记为MT；其中，训练过程中使用的loss函数为mse函数，使用SGD方法进行MS的梯度下降训练，学习率设置为0.0005；步骤四：将待视觉显著提取的立体图像的左视点彩色图像和左视差图像对应记为{ILt(xLt,yLt)}和{IDt(xDt,yDt)}；然后将{ILt(xLt,yLt)}缩放至640×480尺寸，将得到的图像记为{Ilt(x640,y480)}；同样，将{IDt(xDt,yDt)}缩放至640×480尺寸，将得到的图像记为{Idt(x640,y480)}；其中，ILt(xLt,yLt)表示{ILt(xLt,yLt)}中坐标位置为(xLt,yLt)的像素点的像素值，IDt(xDt,yDt)表示{IDt(xDt,yDt)}中坐标位置为(xDt,yDt)的像素点的像素值，1≤xLt≤W'，1≤yLt≤H'，1≤xDt≤W'，1≤yDt≤H'，W'表示{ILt(xLt,yLt)}或{IDt(xDt,yDt)}的宽度，H'表示{ILt(xLt,yLt)}或{IDt(xDt,yDt)}的高度，Ilt(x640,y480)表示{Ilt(x640,y480)}中坐标位置为(x640,y480)的像素点的像素值，Idt(x640,y480)表示{Idt(x640,y480)}中坐标位置为(x640,y480)的像素点的像素值；步骤五：将{Ilt(x640,y480)}和{Idt(x640,y480)}作为输入参数，输入到MT中，得到待视觉显著提取的立体图像的视觉显著图像，记为{IOt(x80,y60)}；其中，IOt(x80,y60)表示{IOt(x80,y60)}中坐标位置为(x80,y60)的像素点的像素值，1≤x80≤80,1≤y60≤60。