[发明专利]基于纹理复杂度的立体图像人眼恰可察觉失真分析方法

摘要

本发明公开了一种基于纹理复杂度的立体图像人眼恰可察觉失真分析方法，其从纹理复杂度角度出发，分析非对称立体图像编码时右视点图像的质量相对于左视点图像的质量可以下降的最大量化参数编码范围，通过大量主观实验，在以左视点图像质量固定不变的情况下，测定人眼可感知立体图像变化右视点图像质量的临界值，通过线性拟合得到右视点图像的最大可容忍量化参数阈值与纹理复杂度和编码量化参数之间的定量的数学模型关系，使得既能通过降低右视点图像质量来达到提高编码压缩效率的目的，同时又利用立体视觉掩蔽效应使观察者不能感知到右视点图像质量的下降，从而保证了立体图像的整体质量。

主权项

一种基于纹理复杂度的立体图像人眼恰可察觉失真分析方法，其特征在于包括以下步骤：①利用三维建模与制作软件，获得N幅单一对象的纹理密度各不相同的立体图像，并假设N幅立体图像中的单一对象的纹理密度为从疏到密，其中，N>1；然后在三维建模与制作软件中，编辑每幅立体图像的左视点图像和右视点图像各自中的单一对象的alpha通道，将需要保留的单一对象设置为非透空区域并填充纯白，将其余部分设置为透空区域并填充纯黑，再渲染制作出每幅立体图像的左视点图像和右视点图像各自的掩膜二值图像；接着根据每幅立体图像的左视点图像和右视点图像各自的掩膜二值图像，通过计算平均局部方差的大小来重新评价每幅立体图像的平均纹理复杂度，将对第n幅立体图像采用平均局部方差计算求得的平均纹理复杂度记为ALVn，其中，1≤n≤N；②获取每幅立体图像对应的K个编码立体图像对比测试集，N幅立体图像共有N×K个编码立体图像对比测试集，其中，第n幅立体图像对应的K个编码立体图像对比测试集的获取过程为：②_1、设定一个左视点编码量化参数取值区间为[QPmin,QPmax)；然后从[QPmin,QPmax)中等步长取K个不同的左视点编码量化参数，分别为QPL,1,QPL,2,…,QPL,K，且QPL,1＝QPmin；其中，QPmin表示设定的最小编码量化参数，QPmax表示设定的最大编码量化参数，K>1，QPL,1,QPL,2,…,QPL,K表示所取的第1个、第2个、…、第K个左视点编码量化参数，QPL,1<QPL,2<…<QPL,K；②_2、将第k个左视点编码量化参数QPL,k定义为当前左视点编码量化参数，其中，1≤k≤K，k的初始值为1；②_3、利用视频编码软件，并采用当前左视点编码量化参数对第n幅立体图像的左视点图像以帧内编码方式进行编码，将得到的编码左图像记为Ln,k；②_4、设定一个右视点编码量化参数取值区间为[QPL,k,QPmax]；然后从[QPL,k,QPmax]中等步长取M个右视点编码量化参数，分别为QPR,1,QPR,2,…,QPR,M，且QPR,1＝QPL,k；其中，M>1，QPR,1,QPR,2,…,QPR,M表示所取的第1个、第2个、…、第M个右视点编码量化参数，QPR,1<QPR,2<…<QPR,M；所述的步骤②_4中QPR,2＝QPR,1+δk，QPR,M＝QPR,1+(M‑1)δk，其中，δk表示在当前左视点编码量化参数下相邻两个右视点编码量化参数的差值的绝对值，当QPmax‑QPL,k＝M时，取δk＝1；当QPmax‑QPL,k>M时，取round()为四舍五入取整函数；②_5、利用视频编码软件，并采用M个右视点编码量化参数分别对第n幅立体图像的右视点图像以帧内编码方式进行编码，共得到M幅不同质量的编码右图像，将采用第m个右视点编码量化参数QPR,m对第n幅立体图像的右视点图像以帧内编码方式进行编码得到的第n幅编码右图像记为Rn,k,m，其中，1≤m≤M；②_6、将Ln,k分别与M幅编码右图像构成M幅不同质量的编码立体图像，将Ln,k与Rn,k,m构成的编码立体图像记为Sn,k,m；然后将Sn,k,1作为参考编码立体图像，将Sn,k,2,Sn,k,3,…,Sn,k,M分别作为测试编码立体图像，其中，Sn,k,1表示Ln,k与第1幅编码右图像Rn,k,1构成的编码立体图像，Sn,k,2表示Ln,k与第2幅编码右图像Rn,k,2构成的编码立体图像，Sn,k,3表示Ln,k与第3幅编码右图像Rn,k,3构成的编码立体图像，Sn,k,M表示Ln,k与第M幅编码右图像Rn,k,M构成的编码立体图像；接着将Sn,k,1分别与Sn,k,2,Sn,k,3,…,Sn,k,M一一组合成编码立体图像对，将组合得到的M‑1个编码立体图像对构成的集合定义为第k个编码立体图像对比测试集，记为{Sn,k,1Sn,k,2,Sn,k,1Sn,k,3,…,Sn,k,1Sn,k,M}，其中，Sn,k,1Sn,k,2表示Sn,k,1与Sn,k,2组合成的编码立体图像对，Sn,k,1Sn,k,3表示Sn,k,1与Sn,k,3组合成的编码立体图像对，Sn,k,1Sn,k,M表示Sn,k,1与Sn,k,M组合成的编码立体图像对；②_7、令k＝k+1，然后将第k个左视点编码量化参数QPL,k作为当前左视点编码量化参数，再返回步骤②_2继续执行，直至K个左视点编码量化参数选择完毕，共得到第n幅立体图像对应的K个编码立体图像对比测试集，其中，k＝k+1中的“＝”为赋值符号；③组织立体图像主观质量评价的参与者多名；然后由每名参与者采用两两对比的方式，在立体显示器上主观观察并对比每幅立体图像对应的每个编码立体图像对比测试集中组合成每个编码立体图像对的两幅编码立体图像，再判断打分评判质量；接着统计所有参与者对每幅立体图像对应的每个编码立体图像对比测试集中组合成每个编码立体图像对的两幅编码立体图像的分数；其中，在立体显示器上主观观察并对比第n幅立体图像对应的第k个编码立体图像对比测试集{Sn,k,1Sn,k,2,Sn,k,1Sn,k,3,…,Sn,k,1Sn,k,M}中组合成每个编码立体图像对的两幅编码立体图像之前，先确定播放顺序，具体过程为：将组合成每个编码立体图像对的两幅编码立体图像在立体显示器上显示的左右位置随机化，并令Flag表示参考编码立体图像Sn,k,1在立体显示器上显示的位置标记，若参考编码立体图像Sn,k,1在立体显示器上显示的位置为左边，则令Flag＝1；若参考编码立体图像Sn,k,1在立体显示器上显示的位置为右边，则令Flag＝0；同时，将M‑1个编码立体图像对在立体显示器上显示的播放顺序随机化；其中，每名参与者在对第n幅立体图像对应的第k个编码立体图像对比测试集{Sn,k,1Sn,k,2,Sn,k,1Sn,k,3,…,Sn,k,1Sn,k,M}中组合成每个编码立体图像对的两幅编码立体图像判断打分评判质量时，每个编码立体图像对的两幅编码立体图像在立体显示器上显示的时间为T1k秒，前后播放的两个编码立体图像对的播放间隔时间为T2k秒，1s<T2k<T1k，前后播放的两个编码立体图像对的播放间隔内显示灰度图供每名参与者休息，设置的评定选项为三项，分别为左边图像质量好、差不多、右边图像质量好，若在T1k秒内每名参与者认为显示在立体显示器的左边的编码立体图像的质量好，则左边图像质量好的评定选项得1分，而差不多的评定选项和右边图像质量好的评定选项均得0分；若在T1k秒内每名参与者认为显示在立体显示器的右边的编码立体图像的质量好，则右边图像质量好的评定选项得1分，而差不多的评定选项和左边图像质量好的评定选项均得0分；若在T1k秒内每名参与者认为显示在立体显示器的左边的编码立体图像和显示在立体显示器的右边的编码立体图像的质量差不多，则差不多的评定选项得1分，而左边图像质量好的评定选项和右边图像质量好的评定选项均得0分；若在T1k秒内每名参与者无法判断显示在立体显示器的左边的编码立体图像和显示在立体显示器的右边的编码立体图像的质量，则差不多的评定选项得1分，而左边图像质量好的评定选项和右边图像质量好的评定选项均得0分；④计算针对每幅立体图像对应的每个编码立体图像对比测试集中的每个编码立体图像对的失真发现人数及失真发现概率，将针对第n幅立体图像对应的第k个编码立体图像对比测试集{Sn,k,1Sn,k,2,Sn,k,1Sn,k,3,…,Sn,k,1Sn,k,M}中的第g个编码立体图像对Sn,k,1Sn,k,g‑1的失真发现人数及失真发现概率对应记为numn,k,g和Pn,k,g，若Flag＝1，则numn,k,g为评定选项中左边图像质量好的总分数；若Flag＝0，则numn,k,g为评定选项中右边图像质量好的总分数；其中，1≤g≤M‑1，NUM表示参与者的总人数；然后计算每幅立体图像对应的每个编码立体图像对比测试集中的编码立体图像对中的测试编码立体图像的编码右图像采用的右视点编码量化参数相对于编码左图像采用的左视点编码量化参数的可容忍增加范围值，将第n幅立体图像对应的第k个编码立体图像对比测试集{Sn,k,1Sn,k,2,Sn,k,1Sn,k,3,…,Sn,k,1Sn,k,M}中的编码立体图像对中的测试编码立体图像的编码右图像采用的右视点编码量化参数相对于编码左图像采用的左视点编码量化参数的可容忍增加范围值记为ΔQPn,k,th，ΔQPn,k,th＝QPn,k,th‑QPL,k，其中，Pn,k,a表示针对第n幅立体图像对应的第k个编码立体图像对比测试集{Sn,k,1Sn,k,2,Sn,k,1Sn,k,3,…,Sn,k,1Sn,k,M}中的所有编码立体图像对的失真发现概率中小于0.5且最接近0.5的失真发现概率，Pn,k,b表示针对第n幅立体图像对应的第k个编码立体图像对比测试集{Sn,k,1Sn,k,2,Sn,k,1Sn,k,3,…,Sn,k,1Sn,k,M}中的所有编码立体图像对的失真发现概率中大于0.5且最接近0.5的失真发现概率，QPR,a表示Pn,k,a对应的编码立体图像对中的测试编码立体图像的编码右图像采用的右视点编码量化参数，QPR,b表示Pn,k,b对应的编码立体图像对中的测试编码立体图像的编码右图像采用的右视点编码量化参数；⑤对每个左视点编码量化参数对应的N个可容忍增加范围值进行线性拟合，得到每个左视点编码量化参数对应的线性拟合方程，将QPL,k对应的线性拟合方程表示为：ΔQPk,th＝Ak×ALV+Bk，其中，ΔQPk,th表示QPL,k对应的线性拟合方程的恰可察觉失真阈值，参数Ak表示QPL,k对应的线性拟合方程的斜率，参数Bk表示QPL,k对应的线性拟合方程的截距，参数Ak和参数Bk在线性拟合时直接获得，ALV表示对任意一幅待人眼恰可察觉失真分析的立体图像采用平均局部方差计算求得的平均纹理复杂度；⑥将步骤⑤得到的共K个线性拟合方程统一表示为线性方程族公式，即为：ΔQPth＝A(QPL)×ALV+B(QPL)，该公式即为基于纹理复杂度的立体图像人眼可感知立体视觉最小可察觉变化量化参数的定量关系，其中，ΔQPth表示最小可察觉变化量化参数阈值，A(QPL)表示线性方程族的斜率，B(QPL)表示线性方程族的截距，QPL表示左视点编码量化参数，A(QPL)、B(QPL)均为QPL的函数，A(QPL)的线性方程由K个左视点编码量化参数及K个左视点编码量化参数各自对应的线性拟合方程的斜率线性拟合得到，B(QPL)的线性方程由K个左视点编码量化参数及K个左视点编码量化参数各自对应的线性拟合方程的截距线性拟合得到。