[发明专利]一种基于结构字典的稀疏表示深度图像重建方法

摘要

本发明公开了一种基于结构字典的稀疏表示深度图像重建方法，属于图像处理技术领域。首先将对应的深度图和彩色图像作为整体来考虑，在求解过程中，主要注重通过构造具有逻辑对应关系的结构字典来提高深度图像和彩色图像的重建效果。在字典构造的过程中，利用深度图像和彩色图像之间的逻辑对应关系和深度图像本身存在的相似关系，提升字典训练的效率和质量。本发明在收集和整理大量国内外相关资料的基础上，结合稀疏编码等相关理论，针对对应的深度图像与彩色图像之间存在的密切关联，分析数据之间的相关性，主要解决了基于结构字典的稀疏表示深度图的重建问题，减小了运算复杂度，提高了深度图和对应彩色图的重建质量。

主权项

1.一种基于结构字典的稀疏表示深度图像重建方法，稀疏表示是一种信号表示方法，即给定的信号可以被某个变换域内的基线性稀疏重构；变换域内的基的集合称之为字典；为了使得信号的表示具有平移不变性，引入了冗余表示的概念，即要求信号在变换域内表示系数的维度大于信号本身的维度，即“超完备”；通过寻找一组超完备基向量来更高效的表示样本数据,将一个信号表示为一组冗余基的线性组合；在超完备字典下，信号用几个基元的线性组合来表示信号本身；假设D＝[d1,d2,…,dn]表示一个包含n个基元的超完备字典，一个信号y＝[y1 y2 … yn]T表示成这些基元的线性组合，即向量α＝[α1 α2 … αn]T是稀疏系数，该向量只包含很少的非零元素或者只有很少的几个远大于零的元素；稀疏表示的优化问题如下：通过求解(2)找到系数α和字典D来重建目标信号；稀疏表示模型的求解包括两个部分，分别是字典训练Training和编码Coding；字典训练部分是在给定一系列图像样本X＝[x1,x2,…,xn]的情况下，从样本中学习得到一组基D＝[d1,d2,…,dn],即字典；训练的过程是一个重复迭代的过程，目标函数为通过交替更改α和D使得目标函数最小；每次迭代分为两个步骤：1)固定字典di,i＝1,2,..,n，调整系数α使目标函数最小，即求解Lasso问题；2)固定系数αi,i＝1,2,…,n，调整D,使目标函数最小,即求解凸QP问题；两个步骤交替执行直至收敛，此时得到的字典D即能够良好表达样本信号的一组基；编码部分就是给定新的图像Y，由上部分训练得到的字典D，通过求解Lasso问题获得稀疏向量α，该稀疏向量α即输入图像Y的稀疏表达；通过y≈Dα重建目标图像；目前常用的字典训练算法有MOD算法和KSVD算法；其特征在于：一个普通的稀疏表示优化求解问题可由如下公式表示：Y代表输入图像，D为字典，x是待求解的稀疏系数，λ为平衡求解精度与稀疏度之间关系的参数；考虑图像Y由深度和彩色两部分组成，即其中Y₁表示深度部分，Y₂表示彩色部分，优化表达式写成如下形式：上述表达式转化成如下形式来表示：该优化求解问题分解成两个子问题进行求解：同一场景所拍摄的深度图像中，同一平面的点具有相同的深度信息，在对应的彩色图像中，同一平面的点则可以包含不同的彩色信息；根据深度图像的特点，场景中同一平面上的点具有相同的深度信息，则可知该深度图像中只需要少量的深度信息即可表示该深度图像所包含的信息；基于这样的经验观测，假设在同一场景拍摄的深度图像和彩色图像中，同一个深度信息可对应多个不同的彩色信息，即深度信息和彩色信息之间存在一对多的关系；此对应关系并不是线性关系而是逻辑对应关系，旨在利用深度图像本身存在的具有大片深度值相同的区域的特点，找到对应彩色图中该区域所存在色彩值的差异；利用彩色图像中更加丰富的信息，在训练过程中增加深度字典更新的准确程度；基于上述假设，分别代表对应的深度和彩色图像样本，a和b分别代表Y₁和Y₂的样本列，则a和b两者之间的逻辑对应关系由如下矩阵来表示：其中a为深度信息，b为彩色图像中对应位置的彩色信息，ω为平衡参数，m_i是整体样本中的一组样本，1≤m_i≤n；令则引入参数u_i，令u＝[u₁ u₂ … u_n]^T则(7)(8)表示成如下形式：u和x之间的对应关系用矩阵Ω来表达，即u＝Ωx；通过探究得到关系矩阵Ω之后，系数u根据公式(10)的稀疏解得到；通过交替求解(9)(10)，并更新字典D1和D2，将最终训练完成的字典D1和D2进行组合，得到结构字典D。