[发明专利]基于内容的快速细缝裁剪与非均匀映射相结合的图像自适应方法

权利要求书

1.基于内容的快速细缝裁剪与非均匀映射相结合的图像自适应方法，其特征在于：

1)输入一幅大小为W*H的原始图像，并设定其目标尺寸为W*H_T；

2)提取参考图像的重要信息，并用阈值将重要区域像素置为0，非重要区域像素置为1；

3)用基于条带和相邻度的快速细缝裁剪方法对显著性图进行裁剪，首先将原始图像分成N条等间距水平条带，然后在各个条带内进行基于相邻度的快速细缝裁剪方法；具体包括：

a.将原始图像分成N条等间距水平条带；

b.根据原图对应的显著性图计算每一个条带的重要性S_i；

c.根据每个条带的重要性值S_i以及目标图像的高度H_T去计算每个条带的目标高度h_i’；原始图像中每个条带宽度均为h＝H/N，则各条带对应的目标宽度h_i'＝{h₁',h₂'...h_N'}^T,i＝1,2,...N可以通过求解最优化问题来获得，该最优化问题中，公式(1)为其目标函数，定义了目标条带的形变量，公式(2)为其约束条件：

式中，S_i代表原始图像中第i个条带对应的重要性值，h和h_i’分别代表第i个水平条带的原始高度和目标高度；(2)式中H_T为图像的目标高度，N代表条带总数量；

d.根据每个条带的原始高度h和目标高度h_i’，能够确定每个条带 需要去除的细缝数量Num_i＝h_i’-h；然后在每个条带中根据相邻度和累加能量搜索要处理的细缝；通过删除或复制这些细缝来得到目标尺寸图像，在每个条带搜索细缝的具体步骤如下：

①计算像素之间的最优匹配关系：

采用Huang提出的快速细缝裁剪方法通过在相邻行或列之间最大化像素间匹配边缘的权重和来建立原始图像中像素间的最优匹配关系；在每两列间进行迭代计算来确定列间像素的最优匹配关系，进而去得到整个条带的最优匹配关系矩阵AR_W×h；

②根据像素最优匹配关系计算细缝之间的邻域关系：

对于一个高度为h的水平条带，需要搜索h条细缝；定义细缝在第k列第m行的像素元素用其细缝标号E^k(m)标记，E^k(m)表示该像素属于第E^k(m)条细缝；另外，定义累积邻域关系矩阵AN_h×h，这个矩阵根据每一列两条细缝元素在重要区域是否相邻进行累积更新；重要区域则通过图像的显著图取平均值作为阈值进行二值化得到；

③计算细缝之间的相邻度：

相邻度用来表示两个细缝之间相邻的概率，它将用于去除某条细缝后，对其相邻的细缝进行能量加权；

④综合细缝的累积能量及其相邻度搜索要处理的细缝：

A.根据最小能量原则去除累积能量最小的细缝m；

B.然后对剩下的细缝使用公式(3)来对其累积能量进行更新，

AE(n)＝AE(n)+AE(n)*w(n),n＝1,2,...h(3)

式(3)中，AE(n)代表第n条细缝的累积能量，w(n)根据 相邻度计算得来，具体定义为：

w(n)＝C*Neighborability(m,n),n＝1,2...h(4)

式(4)中，C是一个常量，用来调节相邻度对细缝分布的影响程度，C＝1；Neighborability(m,n)表示第n条细缝与第m条细缝的相邻度；

4)测量重要区域的能量损失和判断细缝裁剪何时终止；这里用CAID的评价方法来测量全部重要区域的能量损失和判断细缝裁剪何时终止，具体包括两步：

a.首先进行结构相似度SSIM的测量,SSIM只适用于局部相似度的统计；假设f和g是两个非负的子图像信号,其中f是原图像，g是裁剪后的图像，根据已有知识可知

定义两个图像f和g的相似度差值为Dis(f,g)＝1.0-s(f,g)，Dis值越小图像越相似；由Dis判断图像的相似度；

其中图像f的标准差为σ_f，图像g标准差为σ_g，N是像素点的个数,f_i和g_i分别是第i个像素点对应的灰度值；σ_fg为图像f和g 的协方差；μ_f和μ_g分别为原图像，裁剪后的图像的均值；

b.其次，把一幅图像的重要区域分成若干9*9的子图像，根据重要度图选出重要子图，统计Dis的值；若选取的重要子图像过小，细缝裁剪的数目过多，将使重要子图像的变化比较大；若选取的重要子图像过大，则对于重要区域的边缘可能会覆盖较多的非重要区域；假定得到的重要子图像的个数是N_sub，每个重要子图像用其中心点表示I_{sub_n}＝(x_n,y_n),n＝1,2,...,N_sub,假定原图像是f(x,y)，裁剪后的图像是g(u,v)，对于原图像的重要子图像，设定了每一个9*9的重要子图像中心点，细缝裁剪后，在图像g(u,v)中找到对应的重要子图像的中心点，然后通过中心点重新确定新的9*9的重要子图像；假设裁剪的细缝是垂直方向的，如果细缝不穿过中心点，直接移除细缝，否则要对重要子图像的中心点进行更新；第i个重要子图像的中心点是p(x_i,y_i),它相邻的左侧右侧像素点分别是p(x_i,y_i-1)和p(x_i,y_i+1)，左右两侧最邻近的重要子图像的中心点分别是p(x_i,y_{i_left})和p(x_i,y_{i_right})，有三种情况：

(一)如果p(x_i,y_i)的相邻左侧和右侧的像素点是某重要子图像的中心点，第i个重要子图像中心点p(x_i,y_i)所在的细缝被移除，则将Dis置为1.0；

(二)如果p(x_i,y_i)的相邻左侧或右侧像素点是重要子图像的中心点，则相邻右侧或左侧像素点被置为第i个重要子图像的中心点；

(三)如果p(x_i,y_i)左侧和右侧的像素都不是重要子图像的中心点，则其相邻左侧和右侧像素点到左侧重要子图像中心点和右侧重要子图像中心点距离分别为Dis_Ave_{i_left}和Dis_Ave_{i_right}，将 Dis_Ave_{i_left}和Dis_Ave_{i_right}进行比较，如果Dis_Ave_{i_left}大，则相邻左侧像素点为第i个重要子图像的中心点，如果Dis_Ave_{i_left}＝Dis_Ave_{i_right}则任选其一，否则相邻右侧像素点为第i个重要子图像的中心点；

对裁剪后的图像计算出中心点后，以中心点重新组成若干9*9的重要子图像，计算出所有的重要子图像的Dis值；水平方向的细缝裁剪采取一样的方法，上下侧代表的是垂直方向的左右侧；提出了内容相关的图像距离CAID的定义:

然后进行判定细缝裁剪何时终止的训练阈值是a，如果CAID>训练阈值a，a＝0.2，则细缝裁剪终止,否则继续进行细缝裁剪；

5)对加权细缝裁剪后的图像进行非均匀映射，将图像重要区域进行等比例缩放保证重要图像信息不变形，对非重要区域进行尺寸缩放，使图像缩放至目标尺寸；

6)将大小为目标尺寸的图像输出。