[发明专利]一种基于深度学习的路牌文本检测与识别算法

说明书

本发明公开了一种基于深度学习的路牌文本检测与识别算法。本算法分为文本区域检测阶段和文本识别两阶段。文本区域检测阶段将文本区域检测作为实例分割问题，采用改进的VGG网络进行特征提取，经特征融合获取实例分割结果，然后基于分割结果再处理得到文本区域；文本识别阶段，将文本区域检测阶段的结果作为输入，经卷积阶段、循环阶段和转录阶段识别文本，卷积阶段利用卷积神经网络提取图像的特征图，循环阶段利用双向LSTM预测特征图中的特征序列，转录阶段整合循环阶段预测的文本并翻译成文本识别结果；最后进一步处理得到最终的文本识别结果。该算法能够很好的处理自然场景下的路牌图像，在公开数据集上取得了较好的结果。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于深度学习的路牌文本检测与识别 算法。

背景技术

路牌作为道路信息的载体和生活中常见的标识，对汽车驾驶员来说至关重要。现代化 城市的飞速发展使得各种不同类型的道路数量大幅上升，各种带有文字信息的路牌也越来 越多。随着科技进步，有着广阔前景的智能交通系统应运而生，路牌文本检测与识别是智 能交通系统的重要一环。一个效果好的路牌文本检测与识别方法可以帮助汽车驾驶员提前 关注路况信息，这样可以大大提高交通运输效率，降低交通事故的发生率。

深度学习作为人工智能领域一个重要的分支和研究热点，最近越来越多地受到学者和 研究人员们的青睐，深度学习技术在计算机视觉、自然语言处理、语音识别和跨模态等领 域已经有了突破性的进展。

自然场景中的文本检测与文本识别作为计算机视觉领域的重要子问题，近些年来得到 了广泛地发展。目前大多数自然场景下的文本检测和文本识别方法都是基于深度学习技术 的，但是针对路牌文本检测与识别的研究却不多，并且也缺乏公开数据集。有学者和研究 人员提出了一些多阶段的方法，该类方法首先使用颜色空间转换和阈值法等算法提取路牌 区域，然后经过二值化算法提取路牌中的文本区域。但是这些方法只能处理简单场景下的 路牌图像，比如路牌颜色单一或者光照条件良好的情况，在面对复杂自然场景下的路牌图 像时效果不佳。另外，多阶段的处理过程会使整个流程变得繁琐，并且每个阶段的结果高 度依赖与前一阶段的处理结果，最终结果的稳定性也较差。

发明内容

针对以上问题，本发明提出了一种基于深度学习的路牌文本检测与识别算法，该算法 不对路牌区域进行提取而是直接对输入图像进行路牌文本检测，然后再对检测到的文本区 域进行文本识别。该算法能够很好的处理自然场景下的路牌图像，提升了路牌文本检测与 识别的性能。

本发明的技术方案具体介绍如下。

本发明提供一种基于深度学习的路牌文本检测与识别算法，其分为两个处理阶段： 文本区域检测阶段和文本识别阶段；其中：

文本区域检测阶段，首先将文本区域检测作为一个实例分割问题来解决，一个文本区 域就是一个文本实例，利用改进的VGG16网络提取输入图像的图像特征，然后将提取的 图像特征经过多个步骤的特征融合得到实例分割结果，最后对分割结果进行处理得到检测 的文本区域；

文本识别阶段，首先将文本区域检测阶段的结果作为输入，经过文本识别网络获取文 本识别结果，然后再基于规则对文本识别的结果进行过滤，得到最终的文本识别结果；所 述文本识别网络由三个子阶段组成，分别是卷积阶段、循环阶段和转录阶段，卷积阶段利 用卷积神经网络CNN来提取输入图像的特征序列，循环阶段利用双向LSTM网络根据特征序列预测文本概率分布，转录阶段对文本概率分布进行整合并翻译成文本识别结果。

优选的，文本区域检测阶段中，特征融合包括上采样和融合两个过程，上采样过程采 用双线性插值的方式，融合过程采用加和的方式；在特征融合之后输出实例分割结果，实 例分割结果包括文本/非文本预测结果和连接关系预测结果。

优选的，文本区域检测阶段中，对分割结果进行处理得到检测的文本区域的具体步骤 如下：