[发明专利]基于图匹配的数据驱动图像外插方法及装置

权利要求书

1.一种基于图匹配的数据驱动图像外插方法，其特征在于，所述方法包括：

获取待外插图像，对所述待外插图像进行区域划分，得到多个图像区域，将每一个所述图像区域作为一个节点建立所述待外插图像的无向图；

根据所述待外插图像的外插方向提取所述待外插图像的无向图的边界子图；

将所述边界子图与图像库中的每一图像预先建立的无向图进行图匹配，得到符合预设匹配规则的图像库中的图像作为所述待外插图像的候选图像；

对匹配得到的所述候选图像进行变形，使得所述候选图像的图像区域与所述待外插图像的图像区域对应的图像区域边界曲线对齐；

确定所述候选图像与所述待外插图像色差最小的接缝，并改变所述候选图像与所述待外插图像接缝处的颜色，进行图像融合；

其中，所述对匹配得到的所述候选图像进行变形的步骤，包括：

对匹配得到的所述候选图像进行全局变形，具体为：

对所述候选图像在与外插方向平行和垂直的方向上平移η，以及对所述候选图像进行缩放使得所述候选图像与所述待外插图像的图像区域边界曲线在与外插方向垂直的方向上的累计误差最小，即：

其中，η*为最优的平移量，为最优的缩放值，L(t)为所述待外插图像中第t条图像区域边界曲线在与外插方向垂直方向上的坐标，为所述候选图像中第t条图像区域边界曲线在与外插方向垂直的方向上的坐标；

对匹配得到的所述候选图像进行局部变形，具体为：

采用seam carving方法在与外插方向垂直的方向上对所述候选图像进行变形。

2.根据权利要求1所述的方法，其特征在于，所述确定所述候选图像与所述待外插图像色差最小的接缝，并改变所述候选图像与所述待外插图像接缝处的颜色的步骤，包括：

采用Graph-cut方法确定所述候选图像与所述待外插图像色差最小的接缝；

采用泊松融合改变所述候选图像与所述待外插图像接缝处的颜色。

3.根据权利要求1或2所述的方法，其特征在于，所述将所述边界子图与图像库中的图像的无向图进行图匹配的步骤，包括：

提取所述边界子图中每一图像区域以及所述图像库中每一图像的无向图中每一图像区域的特征向量；

根据所述每一个图像区域的特征向量，对所述边界子图以及所述图像库中每一图像的所有图像区域进行聚类，选取包含了所述边界子图的图像区域的聚类类别；

选取所述图像库中包含了所有所述聚类类别对应的图像区域的图像，得到初始候选图像集；

提取所述边界子图的拓扑关系，选取所述初始候选图像集中与所述边界子图拓扑关系一致的图像，得到中间候选图像集；

根据所述每一个图像区域的特征向量获取所述每一个图像区域的特征距离，针对所述中间候选图像集中的图像，计算每一图像包含的所述图像区域与所述边界子图中对应的所述图像区域的特征距离差的平均值，选取所述平均值最小的图像作为候选图像。

4.根据权利要求1或2所述的方法，其特征在于，所述对所述待外插图像进行区域划分，得到多个图像区域，将所述图像区域作为节点建立所述待外插图像的无向图的步骤，包括：

采用层级图像分割法对所述待外插图像进行区域划分，得到不同粒度的图像区域，针对每一粒度的所述图像区域建立一张无向图；

所述图像库中的每一图像预先建立的无向图的过程，包括：

采用层级图像分割法对所述图像库中的每一图像进行区域划分，得到不同粒度的图像区域，针对每一粒度的所述图像区域建立一张无向图。