[发明专利]一种图像中文本识别方法、装置及电子设备

权利要求书

1.一种图像中文本识别方法，其特征在于，包括以下步骤：

获取包含文本的待处理图像；

定位所述图像中的文本区域；

标记所述文本区域的多个参考点，并获取所述参考点的坐标，所述参考点包括所述文本区域的多个边界点和多个中心轴点；

根据所述参考点的坐标，对所述文本区域进行矫正，得到矫正区域；

提取所述矫正区域的文本特征，对所述文本特征进行金字塔特征融合，获取融合特征；

根据所述融合特征，识别所述文本区域包含的文字。

2.如权利要求1所述的图像中文本识别方法，其特征在于，所述根据所述参考点的坐标，对所述文本区域进行矫正，得到矫正区域包括：

将所述参考点的坐标输入训练好的空间变换网络，获取所述参考点对应的矫正点的坐标；

根据所述参考点的坐标与所述矫正点的坐标，对所述文本区域进行矫正，得到矫正区域。

3.如权利要求1所述的图像中文本识别方法，其特征在于，所述提取所述矫正区域的文本特征，对所述文本特征进行金字塔特征融合，获取融合特征包括：

将所述矫正区域输入训练好的轻量检测网络，通过Stem层对所述矫正区域进行降采样；

将降采样后的数据依次通过所述轻量检测网络的各个过渡层；

根据所述Stem层和所述各个过渡层的输出结果，进行金字塔特征融合，得到所述融合特征。

4.如权利要求3所述的图像中文本识别方法，其特征在于，所述根据所述Stem层和所述各个过渡层的输出结果，进行金字塔特征融合，得到所述融合特征包括：

在所述Stem层中选取若干卷积层，在所述各个过渡层中选取若干过渡层，根据所述若干卷积层、所述若干过渡层的输出结果，进行金字塔特征融合，得到所述融合特征。

5.如权利要求4所述的图像中文本识别方法，其特征在于，所述在所述Stem层中选取若干卷积层，在所述各个过渡层中选取若干过渡层，根据所述若干卷积层、所述若干过渡层的输出结果，进行金字塔特征融合，得到所述融合特征包括：

选取所述轻量检测网络的一层第一卷积层和三层过渡层的输出结果进行金字塔特征融合，所述第一卷积层从所述Stem层的前两层卷积层中选取；

将所述第一卷积层的输出结果依次通过所述三层过渡层，所述三层过渡层的输入数据的尺度分别为所述矫正区域的1/2、1/4、1/8；

将第三过渡层的输出结果作为第四深度特征，进行上采样，并与第二过渡层的输出结果相加，得到第三深度特征；

对所述第三深度特征进行上采样，并与第一过渡层的输出结果相加，得到第二深度特征；

对所述第二深度特征进行上采样，并与所述第一卷积层的输出结果相加，得到第一深度特征；

将各所述深度特征融合为所述融合特征。

6.如权利要求1所述的图像中文本识别方法，其特征在于，所述根据所述融合特征，识别所述文本区域包含的文字包括：

采用训练好的双向长短期记忆网络对所述融合特征进行序列预测，得到识别结果序列；

根据所述识别结果序列，解码得到所述文本区域包含的文字。

7.如权利要求6所述的图像中文本的识别方法，其特征在于，在所述采用训练好的双向长短期记忆网络对所述融合特征进行序列预测，得到识别结果序列之后，根据所述识别结果序列，解码得到所述文本区域包含的文字之前，还包括步骤：

利用损失函数优化所述识别结果序列，去除所述识别结果序列中的重复字符和间隔字符。