[发明专利]一种自然场景下的船牌矫正识别方法

权利要求书

1.一种自然场景下的船牌矫正识别方法，其特征在于，所述方法包括以下步骤：

S1：数据获取：通过摄像头采集港口进出船舶的图片；

S2：数据处理：对原图裁剪获取船牌图片；

S3：模型训练：用文字矫正模型训练船牌矫正识别，过程如下：

S3-1:将船牌图像I传入，将图像转换成小图I_d，然后传入定位网络，回归出一系列坐标点，通过激活函数归一化为[-1,1]，确定出20个确定文字区域的基准点C；

S3-2:将船牌图片I与S3-1中生成的20个基准点的坐标输入网格生成网络，通过TPS变换输出另一组基准点C′，并生成输出坐标；

S3-3:通过采样器进行双线性插值并将超出图的部分直接删掉，得到修正后的输出图像I′；

S3-4：将矫正后的船牌图像I′输入识别网络，识别网络主要分为编码层和解码层，图像输入后先通过编码层提取文字特征，再通过解码层得到正向船牌识别结果和反向船牌识别结果；

S4：模型检测：用训练好的船牌矫正模型对船牌进行矫正识别并得到船牌名；

2.如权利要求1所述的一种自然场景下的船牌矫正识别方法，其特征在于，所述步骤S2包括以下步骤：

S2-1：去除不含船牌的图片，对包含船牌的图片中的船牌边框四个顶点进行标定，四个顶点的坐标记为(x1,y1),(x2,y2)，(x3,y3)，(x4,y4)，标签类别标成船牌名，生成xml文件；

S2-2：编写图像切割程序，通过图像和xml文件将船牌切割，并转换成64*200大小并保存；

S2-3：将船牌图片中出现的所有文字进行编码，得到编码文件；

S2-4：编写程序将全部船牌顺序打乱，将一部分的船牌作为训练集，余下的的作为验证集，然后将对应文件名和船牌名分别保存在train.txt文件和eval.txt文件中。

3.如权利要求1或2所述的一种自然场景下的船牌矫正识别方法，其特征在于，所述步骤S3-1中，定位网络包括8层卷积层、7个最大池化层、2个全连接层。

4.如权利要求1或2所述的一种自然场景下的船牌矫正识别方法，其特征在于，所述步骤S3-2中，TPS变换：

其中d_i,k表示p′_i和C′_k的欧氏距离，为常量，K＝20。

P＝{p_i},i＝1,2,…,N表示输入图像，P′＝{p′_i},i＝1,2,…,N表示网格生成网络中对应原图生成的网格坐标信息，其中p_i跟p′_i表示每一个像素点的坐标，N为图像的像素点个数。

5.如权利要求1或2所述的一种自然场景下的船牌矫正识别方法，其特征在于，所述步骤S3-4中，编码层由卷积层和双向LSTM模块构成，解码层由注意力机制模块和LSTM模块构成，图片通过卷积层提取文字特征，再经过双向LSTM模块编码得到特征序列图，然后通过注意力机制模块提取到具体每个船牌文字所在位置信息，并通过双向LSTM模块进行解码分别得到正向船牌识别结果和反向船牌识别结果。

6.如权利要求1或2所述的一种自然场景下的船牌矫正识别方法，其特征在于，所述步骤S4中，将船牌图片转换成64*200大小，传入训练好的船牌矫正识别模型，得到矫正后的船牌图像和船牌名对应的编码，经过正反向船牌识别置信度判断，选取置信度较高的识别结果，通过编码表文件进行解码，得到最后的船牌名。