[发明专利]基于互联网的艺术拼图系统设计方法

权利要求书

1.一种基于互联网的艺术拼图系统设计方法，其特征在于包含以下步骤：

1)对输入的图像进行分割得到分块图像，并提供交互工具对分块图像进行调整和修正；

2)根据用户输入的替代物的类别标签在互联网上进行搜索，并去除内容不相关以及前景复杂的图像，然后采用前景提取算法进行前景分割，得到前景物体和对应的掩码图像；

3)构造能量函数，保证所选用的替代图像和步骤1)中得到的对应分块图像在形状和颜色特征方面尽可能地保持一致；

4)求取各分块的层次关系，并提供交互工具对得到的层次关系进行调整；

5)对输入图像进行对称性检测，找到对称的分块；

6)采用高斯融合算法对拼接图像的边界进行处理，并提供交互工具对替代图像的位置、大小和旋转角度进行调整；

7)对拼接图像进行亮度调整。

2.根据权利要求1所述的基于互联网的艺术拼图系统设计方法，其特征在于：所述步骤1)对于输入的图像，采用经典的均值偏移算法进行分割，在图像分割阶段引入用户交互工具，通过鼠标在分割结果图像上画一笔，即将该笔画覆盖的分块合并成一个分块，或将一个分块进一步分割成两个分块，且该交互工具实现像素级的操作，用来对分割边界进行修正，即分块的合并是指将待合并分块中的所有像素合并到一个分块中；分块的进一步分割是指根据用户的交互，采用图割算法将指定分块分成两块。

3.根据权利要求1所述的基于互联网的艺术拼图系统设计方法，其特征在于：所述步骤2)在图像搜索之前要求用户输入该拼接图像所用替代图像的物体所属的分类标签在互联网上进行搜索，对于搜索到的图像，仅需要包含相关物体的前景区域，用以作为各分块的替代图像，采用基于内容的图像过滤方法对互联网上得到的图像进行内容相关的过滤去除不易进行前景分割的图像，采用Grabcut(C.Rother，V.Kolmogorov，and A.Blake.Grabcut：Interactive foreground extraction using iterated graph cuts，ACM，2004)方法进行前景分割，得到前景物体和对应的掩码图像。

4.根据权利要求1所述的基于互联网的艺术拼图系统设计方法，其特征在于：所述步骤3)所选用的替代图像S_i和对应分块图像P_i在形状和颜色特征方面保持一致；其中替代图像S_i通过最小化下面的能量函数得到：

[式1]

E(Q_j)＝G(Q_j，P_i)+λC(Q_j，P_i)，Q_j∈I

其中，G(Q_j，P_i)表示从互联网上下载的并进行了前景分割的图像Q_j与分块图像P_i在形状特征方面的相似性，C(Q_j，P_i)表示Q_j与P_i在颜色特征方面的相似性，λ用来调节形状和颜色特征之间的相对重要性，I表示前景分割之后的图像数据库；

选取仿射变换对步骤2)得到的前景图像进行处理，即对前景图像进行平移、缩放、旋转、切变等仿射变换，再采用基于矩分布的仿射注册方法(J.Ho，A.Peter，A.Rangarajan，et al.An algebraic approach to affine registration of point sets，IEEE 12th International Conference on Computer Vision，2009)得到上述仿射变换，所得仿射变换包括一个2×2的仿射矩阵A_ij和一个1×2的平移矩阵v_ij，通过最小化G(Q_j，P_i)得到与分块图像匹配的前景图像，G(Q_j，P_i)定义如下：

[式2]

其中，σ₁和σ₂是矩阵A_ij的奇异值，且σ₁≥σ₂，表示变换之后的图像，d(·)表示区域面积，用像素数表示，σ₁/σ₂越接近于1，表明仿射变换中切变以及x、y方向的不等比例缩放变换的成分越少；

颜色相似性定义为前景图像与分块图像之间的颜色分布之间的差异，首先将RGB彩色图像转换到YUV空间，定义颜色相似性如下：

[式3]

C(Q_j，P_i)＝D_QC(H_u(Q_j)，H_u(P_i))+D_QC(H_v(Q_j)，H_v(P_i))

其中，H_u和H_v分表表示U通道和V通道的颜色直方图，D_QC(·)表示直方图之间的QC距离(O.Pele and M.Werman.The Quadratic-Chi Histogram Distance Family.Computer Vision-ECCV：749-762，2010)，该距离对量化带来的影响比较稳定；

通过最小化[式1]所示的能量函数，得到在形状和颜色特征方面与分块图像比较一致的替代图像集{S_i，i＝1，2，...，N}，N表示分块图像的数目。