[发明专利]一种基于单双目特征学习的无参考立体图像质量评价方法

摘要

本发明公开了一种基于单双目特征学习的无参考立体图像质量评价方法，其包括两个阶段，第一个阶段为构造无失真立体图像的单目codebook和双目codebook；第二个阶段为构造待评价的失真立体图像的左视点codebook、右视点codebook和双目codebook，然后根据所有原始的无失真立体图像的单目codebook和双目codebook，及待评价的失真立体图像的左视点codebook、右视点codebook和双目codebook，并利用支持向量回归，获取待评价的失真立体图像的客观质量评价预测值；优点是能充分考虑到立体视觉感知特性，并采用特征学习方法，从而能有效地提高客观评价结果与主观感知之间的相关性。

主权项

1.一种基于单双目特征学习的无参考立体图像质量评价方法，其特征在于包括两个阶段，第一个阶段为构造每幅无失真立体图像的单目codebook和双目codebook；第二个阶段为先构造待评价的失真立体图像的左视点codebook、右视点codebook和双目codebook，然后根据所有原始的无失真立体图像的单目codebook和待评价的失真立体图像的左视点codebook、所有原始的无失真立体图像的单目codebook和待评价的失真立体图像的右视点codebook、所有原始的无失真立体图像的双目codebook和待评价的失真立体图像的双目codebook，并利用支持向量回归，获取待评价的失真立体图像的客观质量评价预测值；其中，所述的第一个阶段的具体步骤如下：①_1、选取K幅宽度为W且高度为H的原始的无失真立体图像，将第k幅原始的无失真立体图像记为Sorg,k，将Sorg,k的左视点图像和右视点图像对应记为{Lorg,k(x,y)}和{Rorg,k(x,y)}，其中，K≥1，1≤k≤K，1≤x≤W,1≤y≤H，Lorg,k(x,y)表示{Lorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg,k(x,y)表示{Rorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①_2、对每幅原始的无失真立体图像的左视点图像和右视点图像进行双目融合，得到每幅原始的无失真立体图像的双目融合图像，将Sorg,k的双目融合图像记为{LRorg,k(x,y)}，其中，LRorg,k(x,y)表示{LRorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①_3、根据每幅原始的无失真立体图像的左视点图像或右视点图像，并先后采用分裂归一化操作和相成分分析，获得每幅原始的无失真立体图像的单目归一化特征图，将Sorg,k的单目归一化特征图记为{Morg,k(x,y)}，其中，Morg,k(x,y)表示{Morg,k(x,y)}中坐标位置为(x,y)的像素点的像素值；并根据每幅原始的无失真立体图像的双目融合图像，并先后采用分裂归一化操作和相成分分析，获得每幅原始的无失真立体图像的双目融合图像的双目归一化特征图，将{LRorg,k(x,y)}的双目归一化特征图记为{Borg,k(x,y)}，其中，Borg,k(x,y)表示{Borg,k(x,y)}中坐标位置为(x,y)的像素点的像素值；①_4、对每幅原始的无失真立体图像的单目归一化特征图进行聚类操作，得到每幅原始的无失真立体图像的单目归一化特征图的聚类后单目特征图，将{Morg,k(x,y)}的聚类后单目特征图记为{Morg,k,c(x,y)}，其中，Morg,k,c(x,y)表示{Morg,k,c(x,y)}中坐标位置为(x,y)的像素点的像素值；并对每幅原始的无失真立体图像的双目融合图像的双目归一化特征图进行聚类操作，得到每幅原始的无失真立体图像的双目融合图像的双目归一化特征图的聚类后双目特征图，将{Borg,k(x,y)}的聚类后双目特征图记为{Borg,k,c(x,y)}，其中，Borg,k,c(x,y)表示{Borg,k,c(x,y)}中坐标位置为(x,y)的像素点的像素值；①_5、计算每幅原始的无失真立体图像的单目归一化特征图的聚类后单目特征图中的所有像素点的像素值的均值，作为每幅原始的无失真立体图像的单目一阶特征值，将S_org,k的单目一阶特征值记为μ_m,org,k；并计算每幅原始的无失真立体图像的单目归一化特征图的聚类后单目特征图中的所有像素点的像素值的方差，作为每幅原始的无失真立体图像的单目二阶特征值，将S_org,k的单目二阶特征值记为计算每幅原始的无失真立体图像的单目归一化特征图的聚类后单目特征图中的所有像素点的像素值的偏斜度，作为每幅原始的无失真立体图像的单目三阶特征值，将S_org,k的单目三阶特征值记为γ_m,org,k；然后将每幅原始的无失真立体图像的单目一阶特征值、单目二阶特征值和单目三阶特征值的组合作为每幅原始的无失真立体图像的单目codebook，将S_org,k的单目codebook记为同样，计算每幅原始的无失真立体图像的双目融合图像的双目归一化特征图的聚类后双目特征图中的所有像素点的像素值的均值，作为每幅原始的无失真立体图像的双目一阶特征值，将S_org,k的双目一阶特征值记为μ_b,org,k；并计算每幅原始的无失真立体图像的双目融合图像的双目归一化特征图的聚类后双目特征图中的所有像素点的像素值的方差，作为每幅原始的无失真立体图像的双目二阶特征值，将S_org,k的双目二阶特征值记为计算每幅原始的无失真立体图像的双目融合图像的双目归一化特征图的聚类后双目特征图中的所有像素点的像素值的偏斜度，作为每幅原始的无失真立体图像的双目三阶特征值，将S_org,k的双目三阶特征值记为γ_b,org,k；然后将每幅原始的无失真立体图像的双目一阶特征值、双目二阶特征值和双目三阶特征值的组合作为每幅原始的无失真立体图像的双目codebook，将S_org,k的双目codebook记为所述的第二个阶段的具体步骤如下：②_1、将宽度为W且高度为H的待评价的失真立体图像记为Sdis，将Sdis的左视点图像和右视点图像对应记为{Ldis(x,y)}和{Rdis(x,y)}，其中，1≤x≤W,1≤y≤H，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值；②_2、对{Ldis(x,y)}和{Rdis(x,y)}进行双目融合，得到Sdis的双目融合图像，记为{LRdis(x,y)}，其中，LRdis(x,y)表示{LRdis(x,y)}中坐标位置为(x,y)的像素点的像素值，其中，对{Ldis(x,y)}和{Rdis(x,y)}进行双目融合所采用的方法与步骤①_2中对每幅原始的无失真立体图像的左视点图像和右视点图像进行双目融合所采用的方法一致；②_3、根据{Ldis(x,y)}，并先后采用分裂归一化操作和相成分分析，获得Sdis的左视点归一化特征图，记为{ML,dis(x,y)}，其中，ML,dis(x,y)表示{ML,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；并根据{Rdis(x,y)}，并先后采用分裂归一化操作和相成分分析，获得Sdis的右视点归一化特征图，记为{MR,dis(x,y)}，其中，MR,dis(x,y)表示{MR,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；根据{LRdis(x,y)}，并先后采用分裂归一化操作和相成分分析，获得{LRdis(x,y)}的双目归一化特征图，记为{Bdis(x,y)}，其中，Bdis(x,y)表示{Bdis(x,y)}中坐标位置为(x,y)的像素点的像素值；②_4、计算{M_L,dis(x,y)}中的所有像素点的像素值的均值，作为S_dis的左视点一阶特征值，记为μ_m,L,dis；并计算{M_L,dis(x,y)}中的所有像素点的像素值的方差，作为S_dis的左视点二阶特征值，记为计算{M_L,dis(x,y)}中的所有像素点的像素值的偏斜度，作为S_dis的左视点三阶特征值，记为γ_m,L,dis；然后将μ_m,L,dis、和γ_m,L,dis的组合作为S_dis的左视点codebook，记为同样，计算{M_R,dis(x,y)}中的所有像素点的像素值的均值，作为S_dis的右视点一阶特征值，记为μ_m,R,dis；并计算{M_R,dis(x,y)}中的所有像素点的像素值的方差，作为S_dis的右视点二阶特征值，记为计算{M_R,dis(x,y)}中的所有像素点的像素值的偏斜度，作为S_dis的右视点三阶特征值，记为γ_m,R,dis；然后将μ_m,R,dis、和γ_m,R,dis的组合作为S_dis的右视点codebook，记为计算{B_dis(x,y)}中的所有像素点的像素值的均值，作为S_dis的双目一阶特征值，记为μ_b,dis；并计算{B_dis(x,y)}中的所有像素点的像素值的方差，作为S_dis的双目二阶特征值，记为计算{B_dis(x,y)}中的所有像素点的像素值的偏斜度，作为S_dis的双目三阶特征值，记为γ_b,dis；然后将μ_b,dis、和γ_b,dis的组合作为S_dis的双目codebook，记为②_5、根据所有原始的无失真立体图像的单目codebook，以及获取S_dis的左视点一阶统计特征值、左视点二阶统计特征值和左视点三阶统计特征值，对应记为μ_m,org,L,dis、和γ_m,org,L,dis，并根据所有原始的无失真立体图像的单目codebook，以及获取S_dis的右视点一阶统计特征值、右视点二阶统计特征值和右视点三阶统计特征值，对应记为μ_m,org,R,dis、和γ_m,org,R,dis，根据所有原始的无失真立体图像的双目codebook，以及获取S_dis的双目一阶统计特征值、双目二阶统计特征值和双目三阶统计特征值，对应记为μ_b,org,dis、和γ_b,org,dis，②_6、对μ_m,org,L,dis和μ_m,org,R,dis进行融合，得到S_dis的融合一阶统计特征值，记为μ_m,org,LR,dis；并对和进行融合，得到S_dis的融合二阶统计特征值，记为对γ_m,org,L,dis和γ_m,org,R,dis进行融合，得到S_dis的融合三阶统计特征值，记为γ_m,org,LR,dis；②_7、采用n”幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真立体图像，将该失真立体图像集合作为训练集；然后利用主观质量评价方法分别评价出训练集中的每幅失真立体图像的主观评分，将训练集中的第j幅失真立体图像的主观评分记为DMOS_j；再按照步骤②_1至步骤②_6的操作，以相同的方式获取训练集中的每幅失真立体图像的融合一阶统计特征值、融合二阶统计特征值、融合三阶统计特征值、双目一阶统计特征值、双目二阶统计特征值和双目三阶统计特征值，将训练集中的第j幅失真立体图像的融合一阶统计特征值、融合二阶统计特征值、融合三阶统计特征值、双目一阶统计特征值、双目二阶统计特征值和双目三阶统计特征值对应记为μ_m,LR,j、γ_m,LR,j、μ_b,j、和γ_b,j；其中，n”>1，1≤j≤N'，N'表示训练集中包含的失真立体图像的总幅数，0≤DMOS_j≤100；②_8、利用支持向量回归对训练集中的所有失真立体图像的主观评分及融合一阶统计特征值、融合二阶统计特征值、融合三阶统计特征值、双目一阶统计特征值、双目二阶统计特征值和双目三阶统计特征值进行训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，拟合得到最优的权值矢量W^opt和最优的偏置项b^opt；接着利用W^opt和b^opt构造得到支持向量回归训练模型；再根据支持向量回归训练模型，对μ_m,org,LR,dis、γ_m,org,LR,dis、μ_b,org,dis、和γ_b,org,dis进行测试，预测得到S_dis的客观质量评价预测值，记为Q，Q＝f(x)，其中，Q是x的函数，f()为函数表示形式，x为输入，x表示μ_m,org,LR,dis、γ_m,org,LR,dis、μ_b,org,dis、和γ_b,org,dis，(W^opt)^T为W^opt的转置矢量，为x的线性函数。