[发明专利]一种自然场景下的船牌矫正识别方法

说明书

一种自然场景下的船牌矫正识别方法，包括以下步骤：1)数据获取：通过摄像头采集港口进出船舶的图片；2)数据处理：对图片进行标注并将船牌图像裁剪；3)模型训练：用标注的船牌图片训练船牌矫正识别模型；4)模型检测：用训练好的救生衣检测模型对船牌图像进行识别，得到矫正后的船牌图像和船牌名；本发明选取深度学习模型，在无需添加额外的标注情况下，提高对船牌的识别速度和准确率，具有较高的实际应用价值。

技术领域

本发明涉及计算机应用技术领域及文本矫正领域，特别是涉及一种自然场景下的船牌矫正方法。

背景技术

近年来，随着科技和陆路交通的发展，车牌自动识别系统越来越成熟，然而我国水路交通并未得到很好发展，在旅游业和渔业日益发展的今天，船舶的船牌自动识别技术也越来与重要，它可以广泛的应用到水路的交通管控、交通管理、航道网建设等场景。

然而，自然环境下的船牌识别面临许多困难和挑战，摄像头拍摄的船牌是一个矩形图片，大部分船舶船牌印刷在弯曲的船侧，本身存在一定弯曲，还有船舶经过摄像头监控点时，其位置的不确定性和摄像头也会产生不可避免的角度变化，这导致最终的船牌图像存在不同程度上的扭曲和倾斜，这种不同程度的图像变形会对识别系统带来不利影响，容易造成字符误分割，从而导致了识别率的下降。当前，研究者们针对特定牌照图像的矫正研究也提出很多方法，大部分都是基于传统方法，通过检测边缘直线，确定图像倾斜角，用几何变换达到矫正效果，但这种算法受到内存及运算速度的限制，无法达到实时处理的效果，而且在处理船牌这种本身存在一定扭曲的图像上效果也不是很好。

因此，需要一种有效的船牌矫正识别方法，能快速的将扭曲和倾斜的船牌矫正成正常的船牌并识别，这对实现海洋和河道航道智能交通系统功能具有重大的理论意义和实现价值。

发明内容

为了克服现有技术的不足，本发明提供一种自然场景下的船牌矫正识别方法。该方法使用文字校正模型，能够解决不规则排列文字的文字识别问题，可以有效矫正船牌，提高船牌矫正的速度和船牌识别率。

本发明解决其技术问题所采用的技术方案如下：

一种自然场景下的船牌矫正识别方法,包括以下步骤：

S1：数据获取：通过摄像头采集港口进出船舶的图片；

S2：数据处理：对原图裁剪获取船牌图片；

S3：模型训练：用文字矫正模型训练船牌矫正，过程如下：

S3-1:将船牌图像I传入，将图像转换成小图I_d，然后传入定位网络，回归出一系列坐标点，通过激活函数归一化为[-1,1]，确定出20个确定文字区域的基准点C；

S3-2:将船牌图片I与S3-1中生成的20个基准点的坐标输入网格生成网络，通过TPS变换输出另一组基准点C′，并生成输出坐标；

S3-3:通过采样器进行双线性插值并将超出图的部分直接删掉，得到修正后的输出图像I′；

S3-4：将矫正后的船牌图像I′输入识别网络，识别网络主要分为编码层和解码层，图像输入后先通过编码层提取文字特征，再通过解码层得到正向船牌识别结果和反向船牌识别结果；

S4：模型检测：用训练好的船牌矫正模型对船牌进行矫正并得到船牌名；

优选地，所述步骤S1中，利用港口摄像头拍摄来往船舶视频，每隔0.5秒取帧并保存为JPEG格式。

进一步，所述步骤S2中，将包含船牌的JPEG图片通过人工用软件Labelimg手动标定船牌边框，标签类别标成船牌名，然后生成xml文件。将船牌从原图中切割，将船牌转换成64*200大小并保存，然后制作船牌编码表文件，最后以8:2的比例分别在train.txt文件和eval.txt文件中保存对应文件名和船牌名。