[发明专利]一种自然场景下证件图像的文本检测方法

权利要求书

1.一种自然场景下证件图像的文本检测方法，其特征在于，包括以下步骤：

步骤1、建立训练数据集：选取常用汉字，采用不同字体类型制造汉字图片，形成数据集1，其中，数据集1中训练图像为不同字体类型的汉字，标签为对应汉字的指定标号；

步骤2、对标注好的证件图像进行随机的旋转、裁剪、模糊、反转、变换明暗度、gamma变换操作，再用泊松克隆的方式融合不同背景图，形成数据集2，其中，数据集2中训练图像为文本图像，标签为对应大小的文本-非文本二值图；

步骤3、采用数据集1对VGG16(Visual Geometry Group-16 Net)网络进行文字分类模型的训练，待模型收敛后，去除VGG16网络的全连接层，改为全卷积神经网络(FCN，FullyConvolutional Networks)，用得到的VGG16文字分类模型参数初始化全卷积神经网络模型，并采用数据集2训练全卷积神经网络模型；

步骤3具体为：将数据集1中的图片重整为28×28像素固定大小，像素值归一化至0-1之间，输入到VGG16神经网络模型，采用梯度下降的方式进行VGG16神经网络预训练，神经网络中的神经元采用ReLU激活函数：

f(x)＝max(0，W^Tx+b)

其中，W^T为神经元中待训练参数，x神经元输入，b为神经元中待偏置参数，VGG16神经网络的损失函数为softmax交叉熵损失函数L(y_i，H_i)：

其中，m为分批处理一个批次内样本的个数，f_i为该训练批次内第i个样本输出的实际预测值，y_i为该训练批次内第i个样本的真实值；

当VGG16模型准确度达到预设程度后，停止预训练，去除VGG16模型的全连接层，增加两个卷积核为1×1的卷积层，并以0.5的概率丢弃部分参数；再通过转置卷积的方式改变卷积层大小，先后逐像素融合pool-4，pool-3卷积层；最后再通过转置卷积，将卷积层输出重整为原图大小；在两个丢弃层后，所有多通道层都先通过1×1的卷积层降维到2通道后进行操作；采用梯度下降的方式训练模型，神经网络模型中的神经元的激活函数依然采用ReLU激活函数：

f(x)＝max(0，W^Tx+b)

其中，W^T为神经元中待训练参数，x神经元输入，b为神经元中待偏置参数，

损失函数采用softmax交叉熵损失函数，

其中，m为分批处理一个批次内样本的个数，M、N为图像的长、宽尺寸，f_ij为该训练批次中第i个样本的第j个像素的预测值，y_ij为该训练批次中第i个样本的第j个像素的真实值；

步骤4、采用训练好的全卷积神经网络模型处理图像，得到文本-非文本概率分布图，通过最大概率的方法得到每个像素点的分类情况，形成文本-非文本二值图；

步骤5、根据文本-非文本区域二值图，用连通区域的方法得到文本的区域；

步骤5具体为：将数据集2中的图像像素值归一化至0-1之间后输入步骤4中FCN模型进行训练，FCN模型参数选用步骤3中VGG16的卷积层和池化层参数预训，新加层则用截断正态分布的随机数初始化；该FCN模型输出为图像的文本-非文本概率图；针对图像的任意一个像素pixel_ij，给出是文本区域像素的概率P_True(pixel_ij)及是非文本区域像素的概率P_False(pixel_ij)，通过比较像素文本-非文本的概率，若：

P_True(pixel_ij)＞P_False(pixel_ij)

则认为像素pixel_ij属于文本区域像素，反之则属于非文本区域像素，将文本区域像素记1，非文本其像素记0，最终得到整个图像的文本-非文本分布图；

步骤6、将图像二值化，仅提取步骤5中文本-非文本区域二值图中文本区域内的文字信息，得到文本二值图；

步骤7、将步骤6得到的文本图像旋转不同角度，横向投影，通过最大方差的方法矫正图像；

步骤7具体为：通过对步骤6中文本二值化图像多次旋转并投影，当图像投影方差最大时的旋转角度，即是图像的矫正角度，所以对图像做横向水平投影，记横向水平投影后纵坐标i行的像素点总和为sum_i：

其中，I为指示函数，当pixel_ij∈文本时，I为1，否则为0，所有行均值为

通过对图像绕中心点旋转不同角度θ_k，计算方差，图像文本区域投影方差为：

当方差最大时，对应的旋转角度θ_k即是图像的倾斜角θ：

步骤8、对矫正后的图像再次投影，根据区域横/纵像素点个数，判断此区域的横/纵并分割文字行，精修步骤5中得到的文本-非文本区域二值图；

步骤8具体为：对矫正后的图像横/纵投影，根据每个文本区域每行/列投影的像素点个数，判断该区域文本的横/纵信息；当轮廓纵向投影的长度远大于横向投影的长度，则可认为该文本区域文本为水平方向，再根据文本方向的垂直方向投影，根据投影像素点数量的变化趋势，确定各条投影曲线的波峰点和波谷点，波峰点为投影曲线中值大于周围的值的极值点，波谷点为投影曲线中值小于周围的点的值的极值点；文字行的分割依靠寻找波谷，为了排除虚假波谷，可根据前5行像素点总和数的平均值进行统计，若

则认为该像素行为无文本区域，据此分割文本行，精修文本-非文本二值图，得到文本行区域位置信息。