[发明专利]一种基于卷积神经网络的立体图像视觉显著性检测方法

权利要求书

1.一种基于卷积神经网络的立体图像视觉显著性检测方法，其特征在于包括训练阶段和测试阶段两个过程；

所述的训练阶段过程的具体步骤为：

步骤1_1：选取N幅宽度为W且高度为H的原始的立体图像；然后将选取的所有原始的立体图像及所有原始的立体图像各自的左视点图像、深度图像和真实人眼注视图像构成训练集，将训练集中的第n幅原始的立体图像记为{Iⁿ(x,y)}，将{Iⁿ(x,y)}的左视点图像、深度图像和真实人眼注视图像对应记为{Dⁿ(x,y)}、其中，N为正整数，N≥300，W和H均能够被2整除，n为正整数，n的初始值为1，1≤n≤N，1≤x≤W，1≤y≤H，Iⁿ(x,y)表示{Iⁿ(x,y)}中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，Dⁿ(x,y)表示{Dⁿ(x,y)}中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；

步骤1_2：构建卷积神经网络：该卷积神经网络包含输入层、隐层、输出层，输入层包括RGB图输入层和深度图输入层，隐层包括编码框架和解码框架，编码框架由RGB特征提取模块、深度特征提取模块和特征融合模块三部分组成，RGB特征提取模块由第1个至第4个神经网络块、第1个至第3个下采样块组成，深度特征提取模块由第5个至第8个神经网络块、第4个至第6个下采样块组成，特征融合模块由第9个至第15个神经网络块、第1个至第4个最大池化层组成，解码框架由第16个至第19个神经网络块、第1个至第4个上采样层组成；输出层由第一卷积层、第一批标准化层和第一激活层组成，第一卷积层的卷积核大小为3×3、步幅大小为1、卷积核个数为1、填充为1，第一激活层的激活方式为“Sigmoid”；

对于RGB图输入层，其输入端接收一幅训练用左视点图像，其输出端输出训练用左视点图像给隐层；其中，要求训练用左视点图像的宽度为W且高度为H；

对于深度图输入层，其输入端接收RGB图输入层的输入端接收的训练用左视点图像对应的训练用深度图像，其输出端输出训练用深度图像给隐层；其中，训练用深度图像的宽度为W且高度为H；

对于RGB特征提取模块，第1个神经网络块的输入端接收RGB图输入层的输出端输出的训练用左视点图像，第1个神经网络块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为P₁；第1个下采样块的输入端接收P₁中的所有特征图，第1个下采样块的输出端输出64幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为X₁；第2个神经网络块的输入端接收X₁中的所有特征图，第2个神经网络块的输出端输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₂；第2个下采样块的输入端接收P₂中的所有特征图，第2个下采样块的输出端输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为X₂；第3个神经网络块的输入端接收X₂中的所有特征图，第3个神经网络块的输出端输出256幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₃；第3个下采样块的输入端接收P₃中的所有特征图，第3个下采样块的输出端输出256幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为X₃；第4个神经网络块的输入端接收X₃中的所有特征图，第4个神经网络块的输出端输出512幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₄；

对于深度特征提取模块，第5个神经网络块的输入端接收深度图输入层的输出端输出的训练用深度图像，第5个神经网络块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为P₅；第4个下采样块的输入端接收P₅中的所有特征图，第4个下采样块的输出端输出64幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为X₄；第6个神经网络块的输入端接收X₄中的所有特征图，第6个神经网络块的输出端输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₆；第5个下采样块的输入端接收P₆中的所有特征图，第5个下采样块的输出端输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为X₅；第7个神经网络块的输入端接收X₅中的所有特征图，第7个神经网络块的输出端输出256幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₇；第6个下采样块的输入端接收P₇中的所有特征图，第6个下采样块的输出端输出256幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为X₆；第8个神经网络块的输入端接收X₆中的所有特征图，第8个神经网络块的输出端输出512幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₈；

对于特征融合模块，第9个神经网络块的输入端接收RGB图输入层的输出端输出的训练用左视点图像，第9个神经网络块的输出端输出3幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为P₉；第10个神经网络块的输入端接收深度图输入层的输出端输出的训练用深度图像，第10个神经网络块的输出端输出3幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为P₁₀；对P₉中的所有特征图和P₁₀中的所有特征图进行Element-wise Summation操作，Element-wise Summation操作后输出3幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为E₁；第11个神经网络块的输入端接收E₁中的所有特征图，第11个神经网络块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为P₁₁；对P₁中的所有特征图、P₅中的所有特征图和P₁₁中的所有特征图进行Element-wise Summation操作，Element-wise Summation操作后输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为E₂；第1个最大池化层的输入端接收E₂中的所有特征图，第1个最大池化层的输出端输出64幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为Z₁；第12个神经网络块的输入端接收Z₁中的所有特征图，第12个神经网络块的输出端输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₁₂；对P₂中的所有特征图、P₆中的所有特征图和P₁₂中的所有特征图进行Element-wise Summation操作，Element-wise Summation操作后输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为E₃；第2个最大池化层的输入端接收E₃中的所有特征图，第2个最大池化层的输出端输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为Z₂；第13个神经网络块的输入端接收Z₂中的所有特征图，第13个神经网络块的输出端输出256幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₁₃；对P₃中的所有特征图、P₇中的所有特征图和P₁₃中的所有特征图进行Element-wise Summation操作，Element-wise Summation操作后输出256幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为E₄；第3个最大池化层的输入端接收E₄中的所有特征图，第3个最大池化层的输出端输出256幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为Z₃；第14个神经网络块的输入端接收Z₃中的所有特征图，第14个神经网络块的输出端输出512幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₁₄；对P₄中的所有特征图、P₈中的所有特征图和P₁₄中的所有特征图进行Element-wise Summation操作，Element-wise Summation操作后输出512幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为E₅；第4个最大池化层的输入端接收E₅中的所有特征图，第4个最大池化层的输出端输出512幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为Z₄；第15个神经网络块的输入端接收Z₄中的所有特征图，第15个神经网络块的输出端输出1024幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₁₅；

对于解码框架，第1个上采样层的输入端接收P₁₅中的所有特征图，第1个上采样层的输出端输出1024幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为S₁；第16个神经网络块的输入端接收S₁中的所有特征图，第16个神经网络块的输出端输出256幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₁₆；第2个上采样层的输入端接收P₁₆中的所有特征图，第2个上采样层的输出端输出256幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为S₂；第17个神经网络块的输入端接收S₂中的所有特征图，第17个神经网络块的输出端输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₁₇；第3个上采样层的输入端接收P₁₇中的所有特征图，第3个上采样层的输出端输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为S₃；第18个神经网络块的输入端接收S₃中的所有特征图，第18个神经网络块的输出端输出64幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₁₈；第4个上采样层的输入端接收P₁₈中的所有特征图，第4个上采样层的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为S₄；第19个神经网络块的输入端接收S₄中的所有特征图，第19个神经网络块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为P₁₉；

对于输出层，第一卷积层的输入端接收P₁₉中的所有特征图，第一卷积层的输出端输出一幅宽度为W且高度为H的特征图；第一批标准化层的输入端接收第一卷积层的输出端输出的特征图；第一激活层的输入端接收第一批标准化层的输出端输出的特征图；第一激活层的输出端输出一幅训练用左视点图像对应的立体图像的显著性图像；其中，显著性图像的宽度为W且高度为H；

步骤1_3：将训练集中的每幅原始的立体图像的左视点图像作为训练用左视点图像，并将训练集中的每幅原始的立体图像的深度图像作为训练用深度图像，输入到卷积神经网络中进行训练，得到训练集中的每幅原始的立体图像的显著性图像，将{Iⁿ(x,y)}的显著性图像记为其中，表示中坐标位置为(x,y)的像素点的像素值；

步骤1_4：计算训练集中的每幅原始的立体图像的显著性图像与真实人眼注视图像之间的损失函数值，将与之间的损失函数值记为采用均方误差损失函数获得；

步骤1_5：重复执行步骤1_3和步骤1_4共V次，得到卷积神经网络训练模型，并共得到N×V个损失函数值；然后从N×V个损失函数值中找出值最小的损失函数值；接着将值最小的损失函数值对应的权值矢量和偏置项对应作为卷积神经网络训练模型的最优权值矢量和最优偏置项，对应记为W^best和b^best；其中，V＞1；

所述的测试阶段过程的具体步骤为：

步骤2_1：令表示待测试的宽度为W'且高度为H'的立体图像，将的左视点图像和深度图像对应记为和其中，1≤x'≤W'，1≤y'≤H'，表示中坐标位置为(x',y')的像素点的像素值，表示中坐标位置为(x',y')的像素点的像素值，表示中坐标位置为(x',y')的像素点的像素值；

步骤2_2：将和输入到卷积神经网络训练模型中，并利用W^best和b^best进行预测，得到的显著性预测图像，记为其中，表示中坐标位置为(x',y')的像素点的像素值。