[发明专利]一种基于图像分割的自然场景文本位置检测方法

说明书

本发明涉及一种基于图像分割的自然场景文本位置检测方法，包括下列步骤：选取数据集；挑选含有文字的图像并标注，制作训练集和测试集；数据增强：第一，随机旋转：以0.25的概率对图片进行随机旋转；第二：随机剪裁；第三，随机颜色扰动；构建训练神经网络：VGG16作为基础网络，将网络的全连接层都改为卷积层，即将Pooling5的输出保持不变，将Fc6变成7*7*512的卷积层，Fc7和Fc8则使用1*1的卷积核变为卷积层，依照分割的思想对文本进行逐像素预测，最后得到每个像素点的预测结果；设计损失函数；对训练结果进行后处理。

技术领域

本发明属于目标检测技术领域，涉及一种基于深度学习技术的检测自然场景图像中文本位置的方法。

背景技术

文本检测算法是光学字符识别(Optical Character Recognition，OCR)领域的一个分支。最初的OCR技术是扫描本文，其特点是分辨率高且文字排列整齐有规律，背景简洁，文本区域占图像总体比重较大。扫描文本识别率达到97.38％^[1]。随着数码相机的大面积普及，扫描文本算法逐渐不能满足社会需求。被检测的自然图像质量下降，背景复杂，文本方向不确定且占图像整体比重较小，例如识别拍摄街景的照片中包含的路标或者街道铭牌包含的字符。将扫描文本算法应用在这类图像上所取得的效果十分糟糕。

为了跟好的识别自然场景图像中的文本，我们通常将这个任务拆分成多个独立的子任务。第一个子任务一般是文本检测^[2]，也可以叫做文本定位(Text localization)。这个任务主要是找到图像中文本的位置，其输出是单个字符或者字符串的边界框，也可以称为文本框。第二个子任务是文本识别。将剪裁好的文本框作为输入，得到文本内容作为结果。第三个子任务是端到端识别，这个任务是将前两个任务结合在一起，达到更高的自动化效果。本发明主要涉及一种文本检测的算法。

文本检测与目标检测在方法上有很大的相似之处，但文本和一般物体相比有更大纵横比，因此对文本检测需要作一定的处理来完成识别。本发明主要考虑对文本的定位问题。

[1]Smith R.An Overview of the Tesseract OCR Engine[C]//InternationalConference on Document Analysis&Recognition.2007.

[2]Kai W,Belongie S.Word Spotting in the Wild[M]//Computer Vision–ECCV 2010.2010.

发明内容

本发明的目的是提供一种基于深度学习的方法对自然场景图像中的文本进行定位，将图像中的文本内容与其他背景分开。技术方案如下：

一种基于图像分割的自然场景文本位置检测方法，包括下列步骤：

(1)选取数据集；挑选含有文字的图像并标注，制作训练集和测试集；

(2)数据增强：第一，随机旋转：以0.25的概率对图片进行随机旋转，旋转角度的数值分别是0、90、180、270四个数值；第二：随机剪裁，对旋转后的图像进行随机剪裁，剪裁区域与原图面积比在0.1到1之间，纵横比在0.5到2之间，保证每次剪裁出的区域至少包含一个文本框的10％以上；第三，随机颜色扰动：用随机数值对图像的亮度、饱和度于色彩值进行扰动；

(3)构建训练神经网络：VGG16作为基础网络，将网络的全连接层都改为卷积层，即将Pooling5的输出保持不变，将Fc6变成7*7*512的卷积层，Fc7和Fc8则使用1*1的卷积核变为卷积层，依照分割的思想对文本进行逐像素预测，最后得到每个像素点的预测结果；

(4)设计损失函数；