[发明专利]一种立体图像显著图提取方法

摘要

本发明公开了一种立体图像显著图提取方法，其包括训练阶段和测试阶段两个过程，在训练阶段，提取多幅立体图像各自的右视点图像中的每个区域的对比度、深度和纹理特征矢量，并分别构造基于不同核函数的弱分类器，再通过AdaBoosting模型构造使得经过训练得到的弱分类器的回归函数值与标签值之间的误差最小的强分类器；在测试阶段，计算测试立体图像的右视点图像中的每个区域的对比度、深度和纹理特征矢量，并利用已训练得到的强分类器来预测测试立体图像的右视点图像中的每个区域的三维视觉显著值，从而得到测试立体图像的立体显著图；优点是所训练得到的强分类器较好地反映了不同特征和不同核对显著的影响，从而有效地提高了三维视觉显著值的预测准确性。

主权项

一种立体图像显著图提取方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段过程的具体步骤如下：①‑1、将选取的N幅各不相同的立体图像以及每幅立体图像的右视差图像和右视点图像的真实眼动图构成一个集合，记为{Li,Ri,di,Fi|1≤i≤N}，其中，N≥1，Li表示{Li,Ri,di,Fi|1≤i≤N}中的第i幅立体图像的左视点图像，Ri表示{Li,Ri,di,Fi|1≤i≤N}中的第i幅立体图像的右视点图像，di表示{Li,Ri,di,Fi|1≤i≤N}中的第i幅立体图像的右视差图像，Fi表示{Li,Ri,di,Fi|1≤i≤N}中的第i幅立体图像的右视点图像的真实眼动图；①‑2、采用超像素分割技术将{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像分割成M个互不重叠的区域，将Ri中的第h个区域记为SPi,h，其中，M≥1，1≤h≤M；①‑3、计算{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的对比度特征矢量，将SPi,h的对比度特征矢量记为其中，的维数为6，符号“[]”为矢量表示符号，表示SPi,h中的所有像素点在CIELAB颜色空间的L分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的L分量的颜色值的距离，表示SPi,h中的所有像素点在CIELAB颜色空间的a分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的a分量的颜色值的距离，表示SPi,h中的所有像素点在CIELAB颜色空间的b分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的b分量的颜色值的距离，表示SPi,h中的所有像素点在RGB颜色空间的R分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的R分量的颜色值的距离，表示SPi,h中的所有像素点在RGB颜色空间的G分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的G分量的颜色值的距离，表示SPi,h中的所有像素点在RGB颜色空间的B分量的颜色值与SPi,h的相邻区域中的所有像素点在RGB颜色空间的B分量的颜色值的距离，Ri中的背景区域是指Ri中位于最左边、最右边、最上边、最下边的区域，SPi,h的相邻区域是指Ri中与SPi,h左相邻、右相邻、上相邻、下相邻的区域；①‑4、计算{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域的深度特征矢量，将SPi,h的深度特征矢量记为其中，的维数为3，符号“[]”为矢量表示符号，表示SPi,h中的所有像素点的视差幅值的均值，表示SPi,h中的所有像素点的视差幅值与Ri中的背景区域中的所有像素点的视差幅值的距离，表示SPi,h中的所有像素点的视差幅值与SPi,h的相邻区域中的所有像素点的视差幅值的距离；①‑5、计算{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像中的每个区域中的所有像素点的LBP特征统计直方图，将以矢量形式表示的LBP特征统计直方图作为对应区域的纹理特征矢量，将SPi,h的纹理特征矢量记为其中，的维数为59；①‑6、按{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像中的M个互不重叠的区域，将{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像的真实眼动图对应分割成M个互不重叠的区域；然后计算{Li,Ri,di,Fi|1≤i≤N}中的每幅立体图像的右视点图像的真实眼动图中的每个区域的平均眼动值；接着按平均眼动值的大小对{Li,Ri,di,Fi|1≤i≤N}中的所有N幅立体图像的右视点图像的真实眼动图中的M×N个区域进行排序；之后从排序后的M×N个区域中取平均眼动值最高的20％区域，并将{Li,Ri,di,Fi|1≤i≤N}中的所有立体图像的右视点图像中与所取的每个区域对应的区域作为正样本区域，同时从排序后的M×N个区域中取平均眼动值最低的40％区域，并将{Li,Ri,di,Fi|1≤i≤N}中的所有立体图像的右视点图像中与所取的每个区域对应的区域作为负样本区域；再将所有正样本区域的特征矢量集的集合作为{Li,Ri,di,Fi|1≤i≤N}的正样本集合，记为并将所有负样本区域的特征矢量集的集合作为{Li,Ri,di,Fi|1≤i≤N}的负样本集合，记为最后将和构成初始的样本训练集，记为其中，表示第j个正样本区域的特征矢量集，表示第j个正样本区域的对比度特征矢量，表示第j个正样本区域的深度特征矢量，表示第j个正样本区域的纹理特征矢量，Lj表示第j个正样本区域的标签值，Lj＝+1，T1表示正样本区域的总个数，T1＝0.2×M×N，表示第k个负样本区域的特征矢量集，表示第k个负样本区域的对比度特征矢量，表示第k个负样本区域的深度特征矢量，表示第k个负样本区域的纹理特征矢量，Lk'表示第k个负样本区域的标签值，Lk'＝‑1，T2表示负样本区域的总个数，T2＝0.4×M×N，表示中的第r个样本，为正样本或为负样本，若中的标签值为+1，则为正样本，若中的标签值为‑1，则为负样本，T＝0.6×M×N，T＝T1+T2；①‑7、采用AdaBoosting模型作为机器学习的方法，对中的所有正样本和所有负样本进行训练，使得经过训练得到的弱分类器的回归函数值与标签值之间的误差最小，得到中的每个样本的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数，将中的任意一个样本的第m个弱分类器的回归函数的最优的权重矢量和最优的偏置项及权重系数对应记为和及然后根据中的任意一个样本的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数，构造一个强分类器，将根据的所有弱分类器各自的回归函数的最优的权重矢量和最优的偏置项及权重系数构造的强分类器记为φ(r)，其中，1≤m≤L，L表示中的任意一个样本的弱分类器的总个数，L＝Nf×Nk，Nf表示中的任意一个样本中的特征矢量的总个数，Nf＝3，Nk表示中的任意一个样本的任意一个弱分类器的回归函数的核的总个数，Nk≥2，为的转置矢量，km(r)表示的第m个弱分类器的回归函数的核函数；所述的步骤①‑7中将和及组成一个组合，记为其中，表示取使得的值最小的wm、bm和βm的值，wm、bm和βm对应表示权重矢量、偏置项和权重系数，(wm,bm,βm)为wm、bm和βm组成的组合，Ψ表示对中的所有样本进行训练的所有的权重矢量和偏置项及权重系数的组合的集合，(wm)T为wm的转置矢量，Lr表示中的标签值；所述的测试阶段过程的具体步骤如下：②‑1、对于任意一幅测试立体图像Stest，将Stest的左视点图像、右视点图像、右视差图像对应记为Ltest、Rtest、dtest；然后采用超像素分割技术将Rtest分割成M'个互不重叠的区域，将Rtest中的第h个区域记为SPh'，其中，M'≥1，1≤h≤M'；②‑2、按照步骤①‑3至步骤①‑5的过程，以相同的操作方式获取Rtest中的每个区域的对比度特征矢量、深度特征矢量和纹理特征矢量；然后将Rtest中的每个区域的对比度特征矢量、深度特征矢量和纹理特征矢量构成的集合作为输入样本；再计算Rtest中的每个区域对应的输入样本的每个弱分类器的回归函数的核函数，将SPh'对应的输入样本的第m个弱分类器的回归函数的核函数记为km(h)；②‑3、根据训练阶段构造的强分类器φ(r)，获取Rtest中的每个区域的三维视觉显著值，将SPh'的三维视觉显著值记为S3D,h，S3D，h＝φ(h)，再将Rtest中的每个区域的三维视觉显著值作为对应区域中的所有像素点的显著值，对于SPh'，将SPh'的三维视觉显著值作为SPh'中的所有像素点的显著值，从而得到Stest的立体显著图，记为{S3D(x',y')}，其中，(x',y')表示Stest中的像素点的坐标位置，1≤x'≤W',1≤y'≤H'，W'和H'对应表示Stest的宽度和高度，S3D(x',y')表示{S3D(x',y')}中坐标位置为(x',y')的像素点的像素值，S3D(x',y')亦表示Rtest中坐标位置为(x',y')的像素点的显著值。