[发明专利]基于图上信号模型的深度图采样与重构方法

权利要求书

1.一种基于图上信号模型的深度图采样与重构方法，其特征是，在采样端，基于图上信号的分析通过建立图结构，得到GNS(graph-based non-uniform sampling)采样模型以此捕捉得到深度信号特征；在重构端，利用深度-彩色之间的结构相关性，建立重构模型GDR(graph-based depth reconstruction)，并以所述重构模型GDR恢复采样过程中建立的图结构，通过构造合理的约束项，最终获得高质量重构深度图。

2.如权利要求1所述的基于图上信号模型的深度图采样与重构方法，其特征是，GNS非均匀采样方式具体步骤如下：

1)用矩阵表示待采样的深度图，是X的向量化形式，N＝m×n，将每一个像素点都当做图结构中的一个顶点，图结构中的边表示两个顶点之间存在关联，用邻接矩阵中的元素W(i,j),表示任一像素i与其邻域中的像素j之间的相似性，

W中包含了所有顶点与边的信息，构造W(i,j)的步骤如下：

1-1)添加两组分别代表各顶点的x坐标与y坐标的向量，得到一个的特征向量组，其中第一列是x坐标值，第二列是y坐标值，第三列是深度值；

1-2)确定与顶点i产生边的邻域，定义两个顶点之间的“距离”：

其中c_i代表顶点i的坐标，x_i代表顶点j的深度值，α是平衡参数；

对于一个顶点i，用kd树最近邻搜索的方法搜索出距离最近的邻域将对应的权重W(i,j)设置为：

2)度矩阵反映各个顶点与外界联系的紧密程度，得到邻接矩阵W之后，计算得到度矩阵

进而得到能够反映信号内部特征的拉普拉斯矩阵及其标准化形式

L＝D-W,

3)标准化的拉普拉斯矩阵是一个高通图滤波器，实质上计算了定义在图结构上的自回归滤波器的预测误差，用表示图滤波器的响应：

预测误差e(i)与被采样的概率成正比例关系p(i)＝e(i)/∈,其中∈＝∑_i|e_i|，对于给定的深度图和固定的采样率r，通过{p_i}得到非均匀的稀疏的采样序列

3.如权利要求1所述的基于图上信号模型的深度图采样与重构方法，其特征是，深度恢复模型GDR构建步骤如下：

1)在重构过程中用高质量的彩色图模拟出采样过程中建立的邻接矩阵，重新确立顶点之间的相似性，其中考虑了深度-彩色图结构的相似性，所以重构模型中邻接矩阵构造如下：

其中δ₁，δ₂，δ₃是分别表示范围滤波器，深度滤波器和色彩滤波器的衰减率；

2)是对应的标准化拉普拉斯矩阵，用定义相邻顶点间的关系，同时，为了描述深度图分段平滑的特性，使用标准总变差TV正则项对重构的深度图进行约束，结合已有的稀疏样本序列b，重构方程描述为：

其中S是对角化之后采样矩阵,即

P＝[P_X；P_y]是水平和竖直方向上的一阶差分算子，是基于图结构的拉普拉斯矩阵变形形式，最后得到的最优解x是希望得到的重构深度图序列，‖·‖₂表示矩阵的二范数，‖·‖₁表示矩阵的一范数；

3)求解重构方程，采用交替方向乘子法ADMM，引入r＝x,v＝Px两个辅助变量，为了寻找到平稳点，首先写出模型的增广拉格朗日形式：

其中，w,z是拉格朗日乘子，μ，γ是惩罚因子；

增广拉格朗日函数迭代求解方程如下：

上式中的argmin_x,r,v{·}表示使目标函数取最小值时变量x,r,v的值，ρ₁,ρ₂为倍数因子，k是迭代次数,转换为交替方向法进行如下序列求解：

然后进行迭代求解得到最终的结果。

4.如权利要求3所述的基于图上信号模型的深度图采样与重构方法，其特征是，进行迭代求解的具体步骤如下：

3-1)求解x^k+1:使用傅里叶转换的方法简化矩阵的乘除；

去掉增广拉格朗日方程中与x无关的项，得到如下方程：

对上式等号右侧进行一阶求导得到：

(μI+γP^TP)x^k+1＝(μr^k-w^k+P^Tz^k+γP^Tv^k)

因为P^TP是循环矩阵，所以(μI+γP^TP)利用傅里叶变换是可对角化的，所以x子问题的解写为：

其中表示2D傅里叶变换，表示2D傅里叶反变换，为微分算子的平方；

3-2)求解r^k+1：使用共轭梯度算法(pcg)求解；

去掉增广拉格朗日方程中与r无关的项，得到如下方程：

对上式等号右侧进行一阶求导得到：

因为是对称的稀疏矩阵，所以求解r的子问题时可以使用预处理共轭梯度算法通过简单的几次迭代达到收敛；

3-3)求解v^k+1:利用凸优化收缩算法求解；

去掉增广拉格朗日方程中与v无关的项，得到如下方程:

这是标准的1范数最小化问题，通过配方并利用收缩算法得到：

其中表示收缩算子。

重复上述步骤3-1)、3-2)、3-3)直到算法收敛，这时迭代的结果x^k+1，r^k+1，v^k+1就是原问题的最终解x，r，v。