[发明专利]一种自然场景下证件图像的文本检测方法

摘要

本发明公开一种自然场景下证件图像的文本检测方法：选取常用汉字制造汉字图片，形成数据集1，对标注好的证件图像进行随机的旋转、裁剪操作，再用泊松克隆的方式融合不同背景图，形成数据集2；采用数据集1对VGG16网络进行文字分类模型的训练，待模型收敛后，用得到的参数初始化全卷积神经网络模型，并用数据集2训练模型；用训练好的全卷积神经网络模型处理图像，根据最大概率的方法得到每个像素点的分类情况，形成文本‑非文本二值图；用连通区域的方法得到文本的区域将原图像二值化，仅提取文本‑非文本区域二值图中文本区域内的文字信息，得到文本二值图；通过最大方差方法矫正图像；对矫正后图像再次投影，精修文本‑非文本区域二值图。

主权项

一种自然场景下证件图像的文本检测方法，其特征在于，包括以下步骤：步骤1、建立训练数据集：选取常用汉字，采用不同字体类型制造汉字图片，形成数据集1，其中，数据集1中训练图像为不同字体类型的汉字，标签为对应汉字的指定标号；步骤2、对标注好的证件图像进行随机的旋转、裁剪、模糊、反转、变换明暗度、gamma变换等操作，再用泊松克隆的方式融合不同背景图，形成数据集2，其中，数据集2中训练图像为文本图像，标签为对应大小的文本‑非文本二值图；步骤3、采用数据集1对VGG16(Visual Geometry Group‑16Net)网络进行文字分类模型的训练，待模型收敛后，去除VGG16网络的全连接层，改为全卷积神经网络(FCN，Fully Convolutional Networks)，用得到的VGG16文字分类模型参数初始化全卷积神经网络模型，并采用数据集2训练全卷积神经网络模型；步骤4、采用训练好的全卷积神经网络模型处理图像，得到文本‑非文本概率分布图，通过最大概率的方法得到每个像素点的分类情况，形成文本‑非文本二值图；步骤5、根据文本‑非文本区域二值图，用连通区域的方法得到文本的区域；步骤6、将原图像二值化，仅提取步骤5中文本‑非文本区域二值图中文本区域内的文字信息，得到文本二值图；步骤7、将步骤6得到的文本图像旋转不同角度，横向投影，通过最大方差的方法矫正图像；步骤8、对矫正后的图像再次投影，根据区域横(纵)像素点个数，判断此区域的横/纵并分割文字行，精修步骤5中得到的文本‑非文本区域二值图。