[发明专利]基于PatchMatch和秩最小化算法合成高动态图像的方法

摘要

本发明公开了一种基于PatchMatch和秩最小化算法合成高动态图像的方法，首先，归一化输入图像集，对图像集使用PatchMatch算法实现图像配准；接着，对配准后的图像集使用伽马曲线对图像集进行辐射校准，然后使用秩最小化算法得到批量的对齐图像；最后，将对齐图像集合成得到目标的高动态(high dynamic range,HDR)图像。本发明利用秩最小化和PatchMatch算法的最新研究成果，能够得到有效去除融合后的HDR图像中的伪影和模糊问题。

主权项

1.一种基于PatchMatch和秩最小化算法合成高动态图像的方法，其特征在于，它包括：a)对输入图像集进行归一化处理，并使用PatchMatch算法实现图像配准；b)对配准后的图像集使用秩最小化算法得到批量的对齐图像；c)将对齐图像集进行合成得到目标高动态图像；所述步骤a)与步骤b)之间还包括：步骤ab)对配准后的图像集使用伽马曲线对图像集进行辐射校准；所述步骤a)包括：a1)定义输入图像中任意一点的像素值为该点的灰度值M，对灰度值M进行归一化，I表示为归一化之后的灰度值：I＝M/255 ⑴a2)现假设源图像为S，参考图像R，源图像和参考图像合成的图像为L，PatchMatch算法就是一个以参考图像为模板，配准源图像生成图像L的过程；由于PatchMatch算法是处理一对图像，现假设输入图像为I₁...I_N，以N＝5为例，首先令I₃为参考图像R，则I₃和I₄作为其源图像S，然后令I₂和I₄作为参考图像R，I₁和I₅分别作为I₂和I₄对应的源图像S；a3)现定义PatchMatch算法合成图像L的二次函数：其中τ为灰度映射函数；Ω为图像R和图像S的图像域，i为图像域上的任意一个像素点，n(i)为以i中心p×p的邻域，其中p为邻域的大小，p＝7，故j是邻域n(i)上的像素点，R(i)是图像R上的第i个像素点，S(i+u(j))是图像S上的第(i+u(j))个像素点，其中u(j)表示从图像L上的像素点j映射到图像S的偏移量；α为一个归一化的因子其中w_τ和w_u为一对权重函数，w_τ(i)表示图像R中像素点i映射到图像L的比重，w_u(j)表示图像S中像素点j加上偏移量u(j)映射到图像L的比重；a4)灰度映射函数τ定义如下：其中灰度映射函数的导数τ′≥0，τ(·)∈[0,1]，i为图像域Ω上的像素点，故L(i)表示为图像L上的第i个像素点；使用迭代重加权最小二乘法算法求解灰度映射函数，故灰度映射函数τ的目标函数转化为：其中求解目标函数τ过程中，τ和权重因子ω更新为：其中n表示第n次迭代，max(·,·)表示为两者当中的最大值，δ＝10^‑10；a5)权重函数w_τ定义如下：其中当图像R中图像域上亮度太暗或者太亮，即图像域的像素点的灰度值小于3/255或者大于252/255时，像素点将会被剪切，否则，就不剪切；a6)权重函数w_μ定义如下：其中d(·,·)表示输入参数之间的空间距离；υ₁,υ₂为两个归一化参数，分别取对应空间距离的75百分位数；a7)对于参数x和y，d(x,y)＝||x‑y||²，而对于表示为：在图像R和图像S的图像域上的任意一个像素点i，取以i为中心，大小为p×p的邻域，得到图像块和然后图像块经过灰度映射函数得到而图像块相对于i平移了u(i)得到最后求两者的空间距离；同理可得其中τ^‑1(·)表示灰度映射函数的逆函数；a8)通过上面定义的函数可知，PatchMatch算法实际上就是求解二次函数的过程；输入图像R和图像S，并分别对两幅图像进行向下采样，分别得到图像R和图像S的金字塔图像集，从金字塔顶端向下迭代，求得在对应每层金字塔图像下合成的图像L和灰度映射函数τ，将此结果作为下一次的迭代的初始值，当迭代完成后即可得到最终的配准图像L，依照此方法，即可以得到输入图像I₁...I_N配准后的图像L₁...L_N；所述步骤b)包括：b1)首先先定义矩阵Y_m×n部分奇异值阈值算子其中β为大于0的常参数；Σ_Y1＝diag(σ₁,0,…,0)，Σ_Y2＝diag(0,σ₂,…,σ_l)，其中l＝min(m,n)，U,V,Σ_Y对应为矩阵Y的奇异值分解矩阵，其中Σ_Y＝Σ_Y1+Σ_Y2；假设向量X，则S_β[X]＝{sign(X)·max(0,|X|‑β)}；b2)定义正交映射算子假设输入图像B，那么Y_ij：其中i，j表示图像上第i行、第j列的像素，表示为输入图像B的有效像素；b3)输入经PatchMatch算法配准后的图像L，并将所有的输入图像向量化得到矩阵D，现引入低秩矩阵A、噪声矩阵E、拉格朗日乘子矩阵Z和正参数ε变量；b4)初始化变量A₀＝D，E₀＝Z₀＝0，其中m，n为输入图像L的行和列，ε₀＝1.25/norm(D,'fro')，其中norm(D,'fro')表示为求矩阵D的Frobenius范数，ρ＞1，外迭代次数t＝0，其中A₀表示为矩阵A在第0次外迭代的状态，E₀，Z₀，ε₀亦是如此；b5)初始化内迭代中间变量b₀＝1，G₀＝A_t，A_t,0＝A_t，内迭代次数k＝0，其中b₀，G₀为中间变量b，G在第0次内迭代下状态，A_t,0表示为矩阵A在第t次外迭代，0次内迭代的状态，下面的A_t,k亦是如此；b6)低秩矩阵更新为：其中表示为输入图像的掩膜模板，当图像域的灰度值过暗或者过亮，也就是灰度值小于2/255或者大于253/255时，掩膜模板对应的像素点的值取为0，否则取为1；中间变量更新为：b7)若内循环次数k达到最大内循环次数，此处最大内循环次数为5，或者A_t,k+1已经收敛时，所述收敛是指也就是A_t,k+1和A_t,k已经近似相等，则退出循环，否则k＝k+6，跳转到b6)；b8)内循环迭代结束之后，低秩矩阵更新为：A_t+1＝A_t,k+1 ⒁中间变量更新为：ε_t+1＝ρε_t ⒄b9)若内循环次数t达到最大内循环次数，此处最大内循环次数为50，或者D‑A_t‑E_t已经收敛时，所述收敛是指A_t+E_t与D已经近似相等，则退出循环，否则t＝t+1，跳转到b5)；b10)内循环迭代结束之后：得到目标低秩矩阵和噪声矩阵：A＝A_t+1 ⒅E＝D‑A ⒆b11)最后对得到的低秩矩阵和噪声矩阵进行调整m×n大小的图像，即可得到输入图像L对应的低秩图像和噪声图像；所述步骤c)包括：c1)输入对齐后的图像集A，将图像A合成目标HDR图像：其中nImg表示为输入图像的数量，x∈{r,g,b}，r，g，b为彩色图像的三个通道；A(x)和H(x)分别输入图像和HDR图像的x通道图像，最后融合H(x)即可得到HDR图像H。