[发明专利]文字识别方法、装置和电子设备

权利要求书

1.一种文字识别方法，包括：

从原始图像中获取包括文字的图像区域；

从所述图像区域中提取文字的图像特征生成第一文字特征图像；

将所述第一文字特征图像进行第一编码生成第一编码图像；

将所述第一编码图像进行解码生成解码图像；

将所述第一文字特征图像、第一编码图像和解码图像的像素矩阵相加，得到融合特征图像；

对所述融合特征图像中的图像特征进行分类以识别出所述文字。

2.如权利要求1中所述的文字识别方法，其中所述从所述图像区域中提取文字的图像特征生成文字特征图像，包括：

将所述图像区域输入卷积神经网络；

通过所述卷积神经网络输出C*H*W大小的第一文字特征图像，其中C为第一文字特征图像的通道数，C≥1，H为第一文字特征图像的高度，H≥1，W为第一文字特征图像的宽度，W≥1。

3.如权利要求1中所述的文字识别方法，其中所述将所述第一文字特征图像进行第一编码生成第一编码图像，包括：

将所述第一文字特征图像输入编码LSTM网络；

所述编码LSTM网络输出所述第一编码图像。

4.如权利要求1中所述的文字识别方法，其中所述将所述第一编码图像进行解码生成解码图像，包括：

将所述第一编码图像输入解码LSTM网络；

所述解码LSTM网络输出解码图像。

5.如权利要求1中所述的文字识别方法，其中所述将所述第一文字特征图像、第一编码图像和解码图像的像素矩阵相加，得到融合特征图像，包括：

根据加权系数将所述第一文字特征图像、第一编码图像和解码图像的像素矩阵进行加权相加，得到融合特征图像。

6.如权利要求1中所述的文字识别方法，其中在所述将所述第一文字特征图像、第一编码图像和解码图像进行特征融合生成融合特征图像之前，还包括：

将所述第一文字特征图像、第一编码图像和解码图像变换为同一维度大小的图像。

7.如权利要求1中所述的文字识别方法，其中所述对所述融合特征图像中的图像特征进行分类以识别出所述文字，包括：

将所述融合特征图像输入第一全连接网络；

所述第一全连接网络输出融合特征图像中所包含的文字类别；

根据所述文字类别识别出所述图像区域中的文字。

8.如权利要求7中所述的文字识别方法，其中所述根据所述文字类别识别出所述图像区域中的文字，包括：

将识别为同一个文字类别的相邻的文字合并为同一个文字；

将合并结果作为识别结果输出。

9.一种文字识别模型的训练方法，包括：

初始化文字识别模型的参数，其中所述文字识别模型中包括一个卷积神经网络、编码LSTM网络、解码LSTM网络和一个全连接网络，所述参数包括所述卷积神经网络、编码LSTM网络、解码LSTM和全连接网络的参数；

从训练集合中获取训练图像，所述训练图像中包括文字以及文字的类别标注；

将所述训练图像经过所述卷积神经网络输出第一文字特征图像；

将所述第一文字特征图像输入所述编码LSTM网络输出第一编码图像；

将所述第一编码图像输入所述解码LSTM网络输出解码图像；

将所述第一文字特征图像、第一编码图像和解码图像的像素矩阵相加，得到融合特征图像；

将所述融合特征图像输入所述全连接网络输出所述训练图像中的文字类别；

根据所述文字类别以及文字的类别标注计算所述文字识别模型的损失函数的值；

根据所述损失函数的值调整所述文字识别模型的参数直至所述损失函数的值最小。