[发明专利]一种基于联合字典的彩色与深度图像后处理方法

摘要

本发明公开了一种基于联合字典的彩色与深度图像后处理方法，其在训练阶段，采用K-SVD方法对多幅无失真彩色图像中的所有子块构成的集合、多幅无失真深度图像中的所有子块构成的集合进行字典训练操作，构造得到彩色字典表和深度字典表；在测试阶段，根据彩色字典表和深度字典表，考虑到彩色特征空间与深度特征空间之间的几何关系，对待处理的彩色与深度图像构造联合字典表，根据联合字典表对彩色与深度图像进行后处理，得到后处理的彩色与深度图像；优点是在训练阶段不需要复杂的机器学习训练过程，在测试阶段只需构造能反映彩色与深度图像本质特征的联合字典，根据联合字典表进行后处理操作，能够保持更好的对象轮廓信息，提高虚拟视点图像的质量。

主权项

一种基于联合字典的彩色与深度图像后处理方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段过程的具体步骤如下：①‑1、选取N幅宽度为W且高度为H的原始的无失真彩色图像及对应的深度图像，将由N幅原始的无失真彩色图像构成的彩色图像集合记为{I_i,org|1≤i≤N}，将由N幅原始的无失真彩色图像对应的深度图像构成的深度图像集合记为{D_i,org|1≤i≤N}，其中，N≥1，I_i,org表示{I_i,org|1≤i≤N}中的第i幅彩色图像，D_i,org表示{D_i,org|1≤i≤N}中的第i幅深度图像，I_i,org与D_i,org对应；①‑2、将{I_i,org|1≤i≤N}中的每幅彩色图像划分成个互不重叠的尺寸大小为8×8的子块；然后采用K‑SVD方法对{I_i,org|1≤i≤N}中的所有彩色图像中的子块构成的集合进行字典训练操作，构造得到{I_i,org|1≤i≤N}的彩色字典表，记为D_c，其中，D_c的维数为64×K，K表示设定的字典的个数，K≥1；同样，将{D_i,org|1≤i≤N}中的每幅深度图像划分成个互不重叠的尺寸大小为8×8的子块；然后采用K‑SVD方法对{D_i,org|1≤i≤N}中的所有深度图像中的子块构成的集合进行字典训练操作，构造得到{D_i,org|1≤i≤N}的深度字典表，记为D_d，其中，D_d的维数为64×K；所述的测试阶段过程的具体步骤如下：②‑1、对于任意一幅宽度为W'且高度为H'的经JPEG编码失真的彩色图像I_test及对应的经JPEG编码失真的深度图像D_test；②‑2、将I_test划分成个互不重叠的尺寸大小为8×8的子块；同样，将D_test划分成个互不重叠的尺寸大小为8×8的子块；然后根据I_test中的所有子块构成的集合和D_test中的所有子块构成的集合、在训练阶段构造得到的D_c和D_d，获取I_test和D_test的联合字典表，记为{D_c,test,D_d,test}，其中，D_c,test为{D_c,test,D_d,test}中的彩色字典表，D_d,test为{D_c,test,D_d,test}中的深度字典表，D_c,test和D_d,test的维数均为64×K，K表示设定的字典的个数，K≥1；②‑3、根据D_c,test，获取中的每个列向量的稀疏系数矩阵，将的稀疏系数矩阵记为通过求解得到，其中，的维数为K×1，min( )为取最小值函数，符号“|| ||₀”为求取矩阵的0‑范数符号，符号“|| ||₂”为求取矩阵的2‑范数符号，T_p1为误差系数；同样，根据D_d,test，获取中的每个列向量的稀疏系数矩阵，将的稀疏系数矩阵记为通过求解得到，其中，的维数为K×1，T_p2为误差系数；②‑4、计算中的每个列向量的重建向量，将的重建向量记为然后将中的每个列向量的重建向量中的每个元素的值作为I_test中对应的子块中对应的像素点经后处理后的像素值，对于中的第j个元素的值，将其作为I_test中的第t'个子块中的第j个像素点经后处理后的像素值，从而得到I_test的后处理图像，记为I'_test，其中，1≤j≤64；同样，计算中的每个列向量的重建向量，将的重建向量记为然后将中的每个列向量的重建向量中的每个元素的值作为D_test中对应的子块中对应的像素点经后处理后的像素值，对于中的第j个元素的值，将其作为D_test中的第t'个子块中的第j个像素点经后处理后的像素值，从而得到D_test的后处理图像，记为D'_test。