[发明专利]一种曲面化变形文本页面图像矫正方法

摘要

本发明属于图像信息处理领域，涉及一种曲面化变形文本页面图像矫正方法。该方法具体包括步骤：(S1)提取文本联通像素区域及其多边形凸包投影信息；(S2)计算每个多边形凸包的质心所在位置字符的水平方向；(S3)计算每个多边形凸包的质心所在位置字符的垂直方向；(S4)根据步骤(S2)和步骤(S3)中得到的水平方向和垂直方向，构建文本页面的二维图像变形网格；(S5)重建文本页面的三维几何结构；(S6)对原始输入的文本页面图像进行矫正，获得矫正的文本页面图像。本发明方法仅需要利用普通照相机拍摄一幅图像，且能够处理满足局部平滑特性的一般曲面化文本页面，并能同时消除文本页面形状变形和成像透视变形，更加灵活、实用。

主权项

1.一种曲面化变形文本页面图像矫正方法，其特征在于，包括以下步骤：(S1)提取文本联通像素区域及其多边形凸包投影信息；(S11)将输入的文本页面图像转换为二值图像，记为{B_p}，二值图像中任意像素p的取值B_p采用如下公式计算：其中，C_p和分别表示原始输入的文本图像及其高斯滤波后的图像中像素p的取值，σ表示高斯平滑窗口大小，λ₁、λ₂为常数参数；(S12)采用基于8‑联通邻域模式搜索二值图像{B_p}中取值为1的所有像素组成的联通像素区域，剔除像素数量多于1000或者少于10的联通区域；计算各联通像素区域的多边形凸包顶点坐标及其质心坐标；对于任意多边形凸包CH，其质心c＝(x,y)^T的计算公式如下：其中，N_v是给定多边形凸包CH所包含的顶点数量，x_i和y_i分别为多边形凸包顶点v_i在图像空间中的横坐标和纵坐标，i＝{1,2,…,N_v}；图像空间指的是图像所在二维平面，图像空间坐标原点位于图像左上角，横向坐标轴方向为由左向右方向，纵向坐标轴方向为由上向下方向；(S13)确定投影直线束k＝{1,2,…,N_θ}，N_θ表示投影直线的数量，其中投影直线表示与图像纵向坐标轴之间夹角为θ_k的直线，θ_k的计算公式是：(S14)对于每个多边形凸包CH，计算距离其质心c最近的N_c个多边形凸包在投影直线上的投影线段；记为距离c最近的N_c个多边形凸包的下标集合，计算多边形凸包CH_i在各投影直线上的投影线段起、止点的横坐标， 记为x_a(CH_i,θ_k)和x_b(CH_i,θ_k)；(S2)计算每个多边形凸包的质心所在位置字符的水平方向；(S21)构建距离多边形凸包质心c最近的N_c个多边形凸包在投影直线上的投影轮廓函数f_k(·)，k＝{1,2,…,N_θ}，f_k(x)的计算公式如下：其中，(S22)计算距离c最近的N_c个多边形凸包在投影直线上的离散投影代价函数E₁(k)，k＝{1,2,…,N_θ}，计算公式为：其中，以及j取整数，取值范围为1,2，…，N_s，表示向下取整数，表示向上取整数；(S23)估算质心c所在位置字符的水平方向，利用5阶多项式拟合方法根据各投影直线的离散投影代价函数E₁(k)拟合关于k的连续投影代价曲线F₁(k)，k＝1,2,…,N_θ，离散投影代价函数E₁(k)拟合考察自变量的取值范围是：其中，argmin表示使目标函数取最小值时的变量值；然后在曲线F₁(k)上搜索最小化函数取值的k，并按照如下公式计算c所在位置字符的最优水平方向：(S3)计算每个多边形凸包的质心所在位置字符的垂直方向；(S31)计算距离c最近的N_c个多边形凸包在投影直线上的投影能量E₂(k)，k＝1,2,…,N_θ，计算公式是：其中，r_i是多边形凸包CH_i的外接圆直径，权重参数ω_i的计算公式如下：其中，||·||₂表示向量的欧几里德范数，c表示任意指定的一个凸包的质心，c_i表示第i个凸包的质心；(S32)估算质心c所在位置字符的垂直方向，利用5阶多项式拟合方法根据各投影直线的离散投影代价函数E₂(k)，拟合关于k的连续投影代价曲线F₂(k)，k＝1,2,…,N_θ，函数E₂(k)拟合考察自变量的取值范围是：然后在曲线F₂(k)上搜索最小化函数取值的k，并按照如下公式计算c所在位置字符的最优垂直方向：(S4)根据步骤(S2)和步骤(S3)中得到的水平方向和垂直方向，构建文本页面的二维图像变形网格；具体过程如下，(S41)对字符联通区域多边形凸包质心位置上的字符水平方向、垂直方向数据进行预处理，检查每个多边形凸包质心位置上的字符方向与其周围邻域质心上的字符方向均值的一致性，如果该字符方向与距离该质心最近的个邻域质心位置上所有方向的平均值的差异高于设定值△θ，则采用邻域均值替代该位置上的字符方向；(S42)构建文本方向函数，利用双线性插值方法，根据多边形凸包质心位置上的字符水平方向数据拟合相对于图像坐标x和y的文本水平方向函数O_h(x,y)；利用双线性插值方法，根据多边形凸包质心位置上的字符垂直方向数据拟合相对于图像坐标x和y的文本垂直方向函数O_v(x,y)；(S43)构建二维图像变形网格，包括以下三个步骤：(S431)生成文本水平流线，分别以(1,m△v)^T为起始点，根据函数O_h(x,y)计算条文本水平流线，其中H表示原始输入图像纵向像素数量，△v为纵向采样间隔像素数量；(S432)生成文本垂直流线，分别以(n△h,1)^T为起始点，根据函数O_v(x,y)计算条文本垂直流线，其中W表示原始输入图像横向像素数量，△h为横向采样间隔像素数量；(S433)构建二维图像变形网格，根据水平方向、垂直方向两组流线相交的结果构建二维图像变形网格，记所形成的二维图像变形网格纵向和横向单元格数量分别为M和N；(S5)重建文本页面的三维几何结构；(S51)建立单元格索引和网格顶点索引，将单元格、网格顶点按照从左至右、从上至下的顺序编号；记二维图像变形网格中第q个二维图像单元格Q_q的左上角、左下角、右下角、右上角顶点索引号分别为g_ul(q)、g_ll(q)、g_lr(q)、g_ur(q)；q＝{1,2,…,M×N}，M和N表示二维图像变形网格纵向和横向单元格数量；(S52)通过求解如下优化问题计算获得变形网格所有顶点的三维空间坐标的最优估计其中，(x_t,y_t)^T和V_t＝(X_t,Y_t,Z_t)^T分别为第t个网格顶点对应的二维图像坐标和三维空间坐标，α为参数，t＝{1,2,…,(M+1)×(N+1)}；(S6)对原始输入的文本页面图像进行矫正，获得矫正的文本页面图像；具体过程如下，(S61)对图像单元格进行正射矫正，利用图像透视变换方法将二维单元格Q_q对应的图像区域矫正为宽为a_q、高为b_q的矩形图像块Q′_q，q＝{1,2,…,M×N}M、N表示二维图像变形网格纵向和横向单元格数量，其中，a_q、b_q的计算公式是：(S62)根据Q_q的邻接关系将所有已矫正的单元格Q′_q拼合形成最终矫正图像。