[发明专利]一种基于深度学习的立体图像视觉显著性检测方法

摘要

本发明公开了一种基于深度学习的立体图像视觉显著性检测方法，其构建卷积神经网络，包含输入层、隐层、输出层，输入层包括RGB图输入层和深度图输入层，隐层包括编码框架、中间层框架和解码框架，编码框架由RGB图通道和深度图通道组成；将训练集中的每幅立体图像的左视点图像和深度图像输入到卷积神经网络中进行训练，得到训练集中的每幅立体图像的显著性图像；计算训练集中的每幅立体图像的显著性图像与真实人眼注视图像之间的损失函数值，重复执行多次后得到卷积神经网络训练模型；待测试的立体图像的左视点图像和深度图像输入到卷积神经网络训练模型中，预测得到显著性预测图像；优点是其具有较高的视觉显著性检测准确性。

主权项

1.一种基于深度学习的立体图像视觉显著性检测方法，其特征在于包括训练阶段和测试阶段两个过程；所述的训练阶段过程的具体步骤为：步骤1_1：选取N幅宽度为W且高度为H的原始的立体图像；然后将选取的所有原始的立体图像及所有原始的立体图像各自的左视点图像、深度图像和真实人眼注视图像构成训练集，将训练集中的第n幅原始的立体图像记为{Iⁿ(x,y)}，将{Iⁿ(x,y)}的左视点图像、深度图像和真实人眼注视图像对应记为{Dⁿ(x,y)}、其中，N为正整数，N≥300，W和H均能够被2整除，n为正整数，n的初始值为1，1≤n≤N，1≤x≤W，1≤y≤H，Iⁿ(x,y)表示{Iⁿ(x,y)}中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，Dⁿ(x,y)表示{Dⁿ(x,y)}中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；步骤1_2：构建卷积神经网络：该卷积神经网络包含输入层、隐层、输出层，输入层包括RGB图输入层和深度图输入层，隐层包括编码框架、中间层框架和解码框架，编码框架由RGB图通道和深度图通道组成，RGB图通道由依次设置的第1个神经网络块、第3个神经网络块、第5个神经网络块、第7个神经网络块、第9个神经网络块、第11个神经网络块、第13个神经网络块构成，深度图通道由依次设置的第2个神经网络块、第4个神经网络块、第6个神经网络块、第8个神经网络块、第10个神经网络块、第12个神经网络块、第14个神经网络块构成，中间层框架由依次设置的第15个神经网络块和第16个神经网络块构成，解码框架由依次设置的第1个反卷积块、第17个神经网络块、第2个反卷积块、第18个神经网络块、第3个反卷积块、第19个神经网络块、第4个反卷积块、第20个神经网络块构成；对于RGB图输入层，其输入端接收一幅训练用左视点图像，其输出端输出训练用左视点图像给隐层；其中，要求训练用左视点图像的宽度为W且高度为H；对于深度图输入层，其输入端接收RGB图输入层的输入端接收的训练用左视点图像对应的训练用深度图像，其输出端输出训练用深度图像给隐层；其中，训练用深度图像的宽度为W且高度为H；对于编码框架，第1个神经网络块的输入端接收RGB图输入层的输出端输出的训练用左视点图像，第1个神经网络块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为P₁；第2个神经网络块的输入端接收深度图输入层的输出端输出的训练用深度图像，第2个神经网络块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为P₂；对P₁中的所有特征图和P₂中的所有特征图进行Element‑wise Summation操作，Element‑wise Summation操作后输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为E₁；第3个神经网络块的输入端接收E₁中的所有特征图，第3个神经网络块的输出端输出64幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₃；第4个神经网络块的输入端接收P₂中的所有特征图，第4个神经网络块的输出端输出64幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₄；第5个神经网络块的输入端接收P₃中的所有特征图，第5个神经网络块的输出端输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₅；第6个神经网络块的输入端接收P₄中的所有特征图，第6个神经网络块的输出端输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₆；对P₅中的所有特征图和P₆中的所有特征图进行Element‑wise Summation操作，Element‑wise Summation操作后输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为E₂；第7个神经网络块的输入端接收E₂中的所有特征图，第7个神经网络块的输出端输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₇；第8个神经网络块的输入端接收P₆中的所有特征图，第8个神经网络块的输出端输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₈；第9个神经网络块的输入端接收P₇中的所有特征图，第9个神经网络块的输出端输出256幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₉；第10个神经网络块的输入端接收P₈中的所有特征图，第10个神经网络块的输出端输出256幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₁₀；对P₉中的所有特征图和P₁₀中的所有特征图进行Element‑wise Summation操作，Element‑wise Summation操作后输出256幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为E₃；第11个神经网络块的输入端接收E₃中的所有特征图，第11个神经网络块的输出端输出256幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₁₁；第12个神经网络块的输入端接收P₁₀中的所有特征图，第12个神经网络块的输出端输出256幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₁₂；第13个神经网络块的输入端接收P₁₁中的所有特征图，第13个神经网络块的输出端输出512幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₁₃；第14个神经网络块的输入端接收P₁₂中的所有特征图，第14个神经网络块的输出端输出512幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₁₄；对P₁₃中的所有特征图和P₁₄中的所有特征图进行Element‑wise Summation操作，Element‑wise Summation操作后输出512幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为E₄；对于中间层框架，第15个神经网络块的输入端接收E₄中的所有特征图，第15个神经网络块的输出端输出512幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₁₅；第16个神经网络块的输入端接收P₁₅中的所有特征图，第16个神经网络块的输出端输出1024幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₁₆；对于解码框架，第1个反卷积块的输入端接收P₁₆中的所有特征图，第1个反卷积块的输出端输出512幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为F₁；对E₄中的所有特征图和F₁中的所有特征图进行Element‑wise Summation操作，Element‑wise Summation操作后输出512幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为E₅；第17个神经网络块的输入端接收E₅中的所有特征图，第17个神经网络块的输出端输出512幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₁₇；第2个反卷积块的输入端接收P₁₇中的所有特征图，第2个反卷积块的输出端输出256幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为F₂；对E₃中的所有特征图和F₂中的所有特征图进行Element‑wise Summation操作，Element‑wise Summation操作后输出256幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为E₆；第18个神经网络块的输入端接收E₆中的所有特征图，第18个神经网络块的输出端输出256幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₁₈；第3个反卷积块的输入端接收P₁₈中的所有特征图，第3个反卷积块的输出端输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为F₃；对E₂中的所有特征图和F₃中的所有特征图进行Element‑wise Summation操作，Element‑wise Summation操作后输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为E₇；第19个神经网络块的输入端接收E₇中的所有特征图，第19个神经网络块的输出端输出128幅宽度为且高度为的特征图，将输出的所有特征图构成的集合记为P₁₉；第4个反卷积块的输入端接收P₁₉中的所有特征图，第4个反卷积块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为F₄；对E₁中的所有特征图和F₄中的所有特征图进行Element‑wise Summation操作，Element‑wise Summation操作后输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为E₈；第20个神经网络块的输入端接收E₈中的所有特征图，第20个神经网络块的输出端输出64幅宽度为W且高度为H的特征图，将输出的所有特征图构成的集合记为P₂₀；对于输出层，其输入端接收P₂₀中的所有特征图，其输出端输出一幅训练用左视点图像对应的立体图像的显著性图像；其中，显著性图像的宽度为W且高度为H；步骤1_3：将训练集中的每幅原始的立体图像的左视点图像作为训练用左视点图像，并将训练集中的每幅原始的立体图像的深度图像作为训练用深度图像，输入到卷积神经网络中进行训练，得到训练集中的每幅原始的立体图像的显著性图像，将{Iⁿ(x,y)}的显著性图像记为其中，表示中坐标位置为(x,y)的像素点的像素值；步骤1_4：计算训练集中的每幅原始的立体图像的显著性图像与真实人眼注视图像之间的损失函数值，将与之间的损失函数值记为采用均方误差损失函数获得；步骤1_5：重复执行步骤1_3和步骤1_4共V次，得到卷积神经网络训练模型，并共得到N×V个损失函数值；然后从N×V个损失函数值中找出值最小的损失函数值；接着将值最小的损失函数值对应的权值矢量和偏置项对应作为卷积神经网络训练模型的最优权值矢量和最优偏置项，对应记为W^best和b^best；其中，V＞1；所述的测试阶段过程的具体步骤为：步骤2_1：令表示待测试的宽度为W'且高度为H'的立体图像，将的左视点图像和深度图像对应记为和其中，1≤x'≤W'，1≤y'≤H'，表示中坐标位置为(x',y')的像素点的像素值，表示中坐标位置为(x',y')的像素点的像素值，表示中坐标位置为(x',y')的像素点的像素值；步骤2_2：将和输入到卷积神经网络训练模型中，并利用W^best和b^best进行预测，得到的显著性预测图像，记为其中，表示中坐标位置为(x',y')的像素点的像素值。