[发明专利]一种基于改进DAN的越南场景文字识别方法

权利要求书

1.一种基于改进DAN的越南场景文字识别方法，其特征在于，

包括：使用ResNet作为编码器从输入图像中提取原始特征图；

将所述原始特征图输入CAM中得到注意力图，具体方式是将原始特征图输入FPN网络得到融合特征图；将融合特征图输入VSFM模块得到视觉与序列融合特征；将所述视觉与序列融合特征输入FCN网络以得到注意力图；

将所述原始特征图和所述注意力图以及VSFM中间特征共同输入增强型解码器进行解码，得到场景图的识别结果。

2.如权利要求1所述的一种基于改进DAN的越南场景文字识别方法，其特征在于，

所述将融合特征图输入VSFM模块得到视觉与序列融合特征的具体步骤是：将融合特征图以宽度为时间步长，输入Bi-GRU进行水平方向的序列特征建模，得到水平方向的序列建模特征；

将融合特征图以高度为时间步长，输入Bi-GRU进行竖直方向的序列特征建模，得到竖直方向的序列建模特征；

将所述水平方向的序列建模特征和所述竖直方向的序列建模特征以及融合特征图进行对应位置的元素相加后得到视觉与序列融合特征。

3.如权利要求2所述的一种基于改进DAN的越南场景文字识别方法，其特征在于，

所述将融合特征图以宽度为时间步长，输入Bi-GRU进行水平方向的序列特征建模的具体方式是：在水平方向上即从左往右建模，又从右往左建模。

4.如权利要求2所述的一种基于改进DAN的越南场景文字识别方法，其特征在于，

所述将融合特征图以高度为时间步长，输入Bi-GRU进行竖直方向的序列特征建模，得到竖直方向的序列建模特征的具体方式是：在竖直方向上即从上到下建模，又从下到上建模。

5.如权利要求1所述的一种基于改进DAN的越南场景文字识别方法，其特征在于，

所述将所述原始特征图和所述注意力图以及VSFM中间特征共同输入增强型解码器进行解码，得到场景图的识别结果的具体步骤是：

S301在每一时刻将原始特征图和注意力图进行相乘得到上下文向量，并与前一时刻的解码结果的嵌入向量进行拼接，再和前一时刻的hidden信息一起输入GRU，得到当前时刻的hidden信息；

S302将hidden信息以及VSFM中间特征在通道维度进行拼接后输入分类器进行分类，得到当前时刻的识别结果；

S303重复S301～S302，当预测得到的最大概率的字符为终止符时，停止预测，并将每一时刻的识别结果组合起来后得到最终的识别结果。

6.如权利要求5所述的一种基于改进DAN的越南场景文字识别方法，其特征在于，

所述VSFM中间特征为融合特征图在Bi-GRU进行竖直方向的序列特征建模得到的竖直方向的序列建模特征，并将所述融合特征图和所述竖直方向的序列建模特征在通道维度进行拼接后得到。