[发明专利]基于K均值聚类的深度图编码方法

摘要

一种基于K均值聚类的深度图编码方法，属于3D视频中深度图的编解码领域，其特征包含以下步骤采用K均值聚类将深度图像分割为n类；将深度图分割后每一类形成的新的深度图的边界提取出来进行熵编码并传送到解码端；非边界区域像素值进行下采样，对下采样值熵编码；编码后的比特流传输到解码端；在解码端，对每一类数据利用偏微分方程PDE的方法恢复得到n幅重建的深度图；将恢复得到的n幅重建深度图叠加到一起形成一幅完整的深度图；利用基于深度图的视点合成技术合成我们所需要的虚拟视点图像。其优点是利用该方案压缩得到的深度图指导合成的虚拟视点质量高于JPEG和JPEG2000压缩标准。

主权项

一种基于K均值聚类的深度图编码方法，其特征是包括下列步骤：(1).读入一幅深度图，根据聚类级数level和聚类中心C的不同设定将深度图聚为n类，n为正整数，聚类之后读入的深度图被分割为n幅新的图像，具体做法是：设一个与原图像相同维数的零矩阵A1，将聚类之后第一类中的像素点对应位置的原深度值赋值到零矩阵A1中，从而形成第1幅新的深度图D1，如此反复，直到所有的类都执行完毕就得到第1、第2、...、第n幅不同的深度图D1、D2、...、Dn；(2).对得到的新的第1、第2、...、第n幅深度图D1、D2、...、Dn分别进行操作：a：边缘检测：首先对第1幅深度图D1进行边缘检测，在边缘检测的过程中，如果一个非零像素点周围8个方向位置上的像素值有一个为零，则将这个像素点定义为边界点，反之如果8个方向位置上的像素值都不为零，则定义为非边界点，通过这种方法得到第1幅深度图D1的边界点，且通过边界点将第1幅深度图D1分为两部分，即边界区域和非边界区域；b：边界区域的编码：包括边界位置和边界像素点的编码：b1：边界位置的编码：设一个与原图像维数大小相同的零矩阵B，并将形成的第1、第2、...、第n幅新的深度图D1、D2、...、Dn中非零的像素值在零矩阵B中对应的位置依次标记为0、1、...、m，m为正整数，然后对更新后的零矩阵B进行游程编码，在解码端得到n类深度图数据的对应位置；b2：边界像素点的编码：通过边缘检测得到第1幅深度图D1的边界点，将其取出放入到一个一维矢量中进行差值运算，通过公式(1)进行：d(x+1)＝e(x+1)‑e(x)           (1)式中，e代表的是一维矢量中的元素即边界位置的像素值，x代表的是一维矢量中每个元素对应的位置，在上式中x是正整数，d(x+1)代表的是一维矢量中后一个位置(x+1位置)的像素值减前一个位置(x位置)的像素值，是一个残差矢量，最后将残差矢量进行算术编码并传送到解码端；c：非边界区域的编码：对于第1幅深度图D1去除边界点之后剩余的像素点，首先将其取出并放入一个一维矢量中，然后对其进行下采样，在下采样的过程中，其步长QP＝1，2，3，...，QP为正整数，最后将下采样得到的值进行算术编码并传送到解码端；d：解码端恢复第1幅深度图D1：在解码端，首先设一个零矩阵Rec，根据解码得到的第一类中边界的位置和第一类中的边界点的像素值将第一类中的边界点无损的恢复出来，然后将算术解码得到下采样的非边界点按对应位置填充到零矩阵Rec中，最后用偏微分方程PDE的方法进行恢复得到新的矩阵new_Rec，即解码得到的第一类形成的第1幅深度图D1,PDE最经典的一个例子就是热传导方程，它主要描述了在实数域R中，上的一个函数U0，如公式(2)：∂u∂t=Δuu(x,y,0)=u0(x,y)---(2)]]>其边界条件是Ω，本方案使用的PDE方法主要是采用有限差分法来实现重建的，每个丢失的像素点通过利用其已知像素点周围八个方向的像素值进行迭代重建,根据公式(3)和(4)进行深度图的重建：Rec‾I=0=Rec---(3)]]>Rec‾I=i(x,y)=18(Rec‾I=i-1(x-1,y-1)+Rec‾I=i-1(x-1,y)+Rec‾I=i-1(x-1,y+1)+Rec‾I=i-1(x,y+1)+Rec‾I=i-1(x+1,y+1)+Rec‾I=i-1(x+1,y)+Rec‾I=i-1(x+1,y-1)+Rec‾I=i-1(x,y-1))---(4)]]>其中I、i指迭代次数(I＝0,1,2，...；i＝1,2,3，...)，是要恢复的未知像素，迭代终止的条件是I＝0时代表的是未迭代时(x,y)位置处的像素值，即公式(3)，由于要重建的是丢失的像素值，所以当I＝0时其像素值为0，公式(4)中从i＝1开始迭代用以重建丢失的像素值，直到满足终止条件迭代停止；e：按上述步骤(a)、(b)、(c)、(d)，对第2、第3、...、第n幅深度图D2、D3、...、Dn进行操作，得到n类重建的深度图；(3).将n类重建的深度图叠加起来，最终得到恢复的整个图像。