[发明专利]基于图匹配的数据驱动图像外插方法及装置

说明书

本发明涉及图像处理技术领域，特别是涉及一种基于图匹配的数据驱动图像外插方法及装置。本发明提供的一种基于图匹配的数据驱动图像外插方法及装置，通过建立图想的无向图，采用图像区域特征匹配和拓扑关系匹配的图匹配方法得到最优的外插候选图像，进而对候选图像进行变形，并选取色差最小的接缝进行图像融合，实现了图像大尺寸的扩大，并保证了外插边界的一致性。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于图匹配的数据驱动图像外插方法及装置。

背景技术

随着数字媒体技术的发展，越来越多的图像编辑技术致力于图像内容的扩充，带来新的视觉体验。

目前，已有一些工作者开始研究如何对图像的原始尺寸进行扩大，同时加入与原图像一致的内容。例如，Kopf等人发明了一种基于图像块的合成方法，可以将边界不规则的全景图像向外小规模填充，使之成为规则矩形，而这种方法也仅适用于图像向外小规模的填充，对于大尺度地向外填充则会造成图像内容模糊不清或者杂乱。因此，Sivic等人发明了一种数据驱动的图像漫游方法，该方法通过在上百万张图像库来模拟视点漫游，合成新的图像。但是，使用该方法合成的图像，并不能保证图像外插边界的一致性。

发明内容

针对现有技术中不能保证图像外插边界的一致性的缺陷，本发明提供了一种基于图匹配的数据驱动图像外插方法及装置。

本发明提供的一种基于图匹配的数据驱动图像外插方法，包括：

获取待外插图像，对所述待外插图像进行区域划分，得到多个图像区域，将每一个所述图像区域作为一个节点建立所述待外插图像的无向图；

根据所述待外插图像的外插方向提取所述待外插图像的无向图的边界子图；

将所述边界子图与图像库中的每一图像预先建立的无向图进行图匹配，得到符合预设匹配规则的图像库中的图像作为所述待外插图像的候选图像；

对匹配得到的所述候选图像进行变形，使得所述候选图像的图像区域与所述待外插图像的图像区域对应的图像区域边界曲线对齐；

确定所述候选图像与所述待外插图像色差最小的接缝，并改变所述候选图像与所述待外插图像接缝处的颜色，进行图像融合。

进一步地，所述对匹配得到的所述候选图像进行变形的步骤，包括：

对匹配得到的所述候选图像进行全局变形，具体为：

对所述候选图像在与外插方向平行和垂直的方向上平移η，以及对所述候选图像进行缩放，使的所述候选图像与所述待外插图像的图像区域边界曲线在与外插方向垂直的方向上的累计误差最小，即：

其中，L(t)为所述待外插图像中第t条图像区域边界曲线在与外插方向垂直方向上的坐标，为所述候选图像中第t条图像区域边界曲线在与外插方向垂直的方向上的坐标；

对匹配得到的所述候选图像进行局部变形，具体为：

采用seam carving方法在与外插方向垂直的方向上对所述候选图像进行变形。

进一步地，所述确定所述候选图像与所述待外插图像色差最小的接缝，并改变所述候选图像与所述待外插图像接缝处的颜色的步骤，包括：

采用Graph-cut方法确定所述候选图像与所述待外插图像色差最小的接缝；

采用泊松融合改变所述候选图像与所述待外插图像接缝处的颜色。

进一步地，所述将所述边界子图与图像库中的图像的无向图进行图匹配的步骤，包括：

提取所述边界子图中每一图像区域以及所述图像库中每一图像的无向图中每一图像区域的特征向量；