[发明专利]一种基于结构纹理稀疏表示的立体图像质量客观评价方法

摘要

本发明公开了一种基于结构纹理稀疏表示的立体图像质量客观评价方法，其在训练阶段，对多幅无失真立体图像的左视点图像实施结构纹理分离，然后通过无监督学习方式对由所有结构图像中的子块构成的集合进行字典训练得到结构字典表，并对由所有纹理图像中的子块构成的集合进行字典训练得到纹理字典表；在测试阶段，根据在训练阶段构造得到的结构字典表和纹理字典表，联合优化得到结构稀疏系数矩阵和纹理稀疏系数矩阵，并计算失真立体图像的图像质量客观评价预测值，与主观评价值保持了较好的一致性，并且在测试阶段不需要再计算结构字典表和纹理字典表，降低了计算复杂度，同时无需预知各评价图像的主观评价值，使得本发明方法适用于实际的应用场合。

主权项

一种基于结构纹理稀疏表示的立体图像质量客观评价方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段过程的具体步骤如下：①‑1、将选取的N幅原始的无失真立体图像的左视点图像构成训练图像集，记为{Li,org|1≤i≤N}，其中，N≥1，Li,org表示{Li,org|1≤i≤N}中的第i幅图像，原始的无失真立体图像的宽度为W，原始的无失真立体图像的高度为H；①‑2、对{Li,org|1≤i≤N}中的每幅图像实施结构纹理分离，得到{Li,org|1≤i≤N}中的每幅图像的结构图像和纹理图像，将Li,org的结构图像和纹理图像对应记为和然后将{Li,org|1≤i≤N}中的所有图像的结构图像构成的集合记为并将{Li,org|1≤i≤N}中的所有图像的纹理图像构成的集合记为所述的步骤①‑2中的和的获取过程为：①‑2a、将Li,org中当前待处理的像素点定义为当前像素点；①‑2b、将当前像素点在Li,org中的坐标位置记为p；将以当前像素点为中心的21×21邻域窗口内除当前像素点外的每个像素点作为当前像素点的邻域像素点；将以当前像素点为中心的9×9邻域窗口内的所有像素点构成的块定义为当前子块，记为将以当前像素点的每个邻域像素点为中心的9×9邻域窗口内的所有像素点构成的块作为当前子块的邻域子块，将以坐标位置为q的邻域像素点为中心的9×9邻域窗口内的所有像素点构成的邻域子块记为其中，p∈Ωi,org，Ωi,org表示Li,org中的所有像素点的坐标位置的集合，(x2,y2)表示中的像素点在中的坐标位置，1≤x2≤9,1≤y2≤9，表示中坐标位置为(x2,y2)的像素点的像素值，(x3,y3)表示中的像素点在中的坐标位置，1≤x3≤9,1≤y3≤9，表示中坐标位置为(x3,y3)的像素点的像素值；上述步骤①‑2b中，对于任意一个邻域像素点、当前子块中的任意一个像素点及邻域子块中的任意一个像素点，假设该像素点的坐标位置为(x,y)，则如果x<1且1≤y≤H，则将Li,org中坐标位置为(1,y)的像素点的像素值赋值给该像素点；如果x>W且1≤y≤H，则将Li,org中坐标位置为(W,y)的像素点的像素值赋值给该像素点；如果1≤x≤W且y<1，则将Li,org中坐标位置为(x,1)的像素点的像素值赋值给该像素点；如果1≤x≤W且y>H，则将Li,org中坐标位置为(x,H)的像素点的像素值赋值给该像素点；如果x<1且y<1，则将Li,org中坐标位置为(1,1)的像素点的像素值赋值给该像素点；如果x>W且y<1，则将Li,org中坐标位置为(W,1)的像素点的像素值赋值给该像素点；如果x<1且y>H，则将Li,org中坐标位置为(1,H)的像素点的像素值赋值给该像素点；如果x>W且y>H，则将Li,org中坐标位置为(W,H)的像素点的像素值赋值给该像素点；①‑2c、计算中的每个像素点的特征矢量，将中坐标位置为(x2,y2)的像素点的特征矢量记为，其中，的维数为7，符号“[]”为矢量表示符号，符号“||”为取绝对值符号，表示中坐标位置为(x2,y2)的像素点的密度值，为在水平方向的一阶偏导数，为在垂直方向的一阶偏导数，为在水平方向的二阶偏导数，为在垂直方向的二阶偏导数；①‑2d、根据中的每个像素点的特征矢量，计算的协方差矩阵，记为其中，的维数为7×7，表示中的所有像素点的特征矢量的均值矢量，为的转置矢量；①‑2e、对进行Cholesky分解，得到的Sigma特征集，记为，其中，为的转置矩阵，的维数为7×15，符号“[]”为矢量表示符号，1≤j≤7，表示的第1列向量，表示的第j列向量，表示的第7列向量；①‑2f、按照步骤①‑2c至步骤①‑2e的操作，以相同的方式获取当前子块的每个邻域子块的Sigma特征集，将的Sigma特征集记为其中，的维数为7×15；①‑2g、根据及当前子块的每个邻域子块的Sigma特征集，计算当前像素点的结构信息，记为其中，N(p)表示当前像素点的所有邻域像素点的坐标位置的集合，exp()表示以自然基数e为底的指数函数，σ表示高斯函数的标准差，符号“||||”为欧氏距离计算符号，Li,org(q)表示坐标位置为q的像素点的像素值；①‑2h、根据计算当前像素点的纹理信息，记为其中，Li,org(p)表示当前像素点的像素值；①‑2i、将Li,org中下一个待处理的像素点作为当前像素点，然后返回步骤①‑2b继续执行，直至Li,org中的所有像素点处理完毕，得到Li,org中的每个像素点的结构信息和纹理信息，将Li,org中的所有像素点的结构信息构成的图像作为Li,org的结构图像将Li,org中的所有像素点的纹理信息构成的图像作为Li,org的纹理图像①‑3、对中的每幅结构图像进行非重叠的分子块处理；然后采用K‑SVD方法对中的所有结构图像中的子块构成的集合进行字典训练操作，构造得到的结构字典表，记为Dstr，其中，Dstr的维数为64×K，K表示设定的字典的个数，K≥1；同样，对中的每幅纹理图像进行非重叠的分子块处理；然后采用K‑SVD方法对中的所有纹理图像中的子块构成的集合进行字典训练操作，构造得到的纹理字典表，记为Dtex，其中，Dtex的维数为64×K；所述的测试阶段过程的具体步骤如下：②‑1、对于任意一副测试立体图像Stest，假设Stest对应的原始的无失真立体图像为Sorg，其中，Stest的宽度与步骤①‑1中的原始的无失真立体图像的宽度一致，Stest的高度与步骤①‑1中的原始的无失真立体图像的高度一致；②‑2、按照步骤①‑2的过程，以相同的方式获取Stest的左视点图像Ltest和右视点图像Rtest及Sorg的左视点图像Lorg和右视点图像Rorg各自的结构图像和纹理图像，将Ltest的结构图像和纹理图像对应记为和将Rtest的结构图像和纹理图像对应记为和将Lorg的结构图像和纹理图像对应记为和将Rorg的结构图像和纹理图像对应记为和②‑3、对Ltest和Rtest、和和和和分别进行非重叠的分子块处理；然后根据在训练阶段过程构造得到的Dstr和Dtex联合优化，获取由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵、由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵、由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵、由中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵；接着根据和中的每个子块对应的结构稀疏系数矩阵、和中的每个子块对应的纹理稀疏系数矩阵，计算Ltest中的每个子块的局部客观评价度量值，并根据和中的每个子块对应的结构稀疏系数矩阵、和中的每个子块对应的纹理稀疏系数矩阵，计算Rtest中的每个子块的局部客观评价度量值；最后根据Ltest和Rtest中的部分子块的局部客观评价度量值，计算Stest的图像质量客观评价预测值。