[发明专利]一种识别弯曲多行文本图像的方法与设备

权利要求书

1.一种识别弯曲多行文本图像的方法，其中，该方法包括：

获取待处理的文本图像；

检测所述文本图像是否存在倾斜或弯曲的情况，若存在，对所述文本图像进行矫正处理；

提取所述文本图像的图像特征并进行融合处理，得到融合特征图，对所述融合特征图进行空洞卷积操作，得到图像特征图；

对所述图像特征图进行卷积和激活操作后，将所述图像特征图输入长短期记忆网络，得到识别结果。

2.根据权利要求1所述的方法，其中，检测所述文本图像是否存在倾斜或弯曲的情况，若存在，对所述文本图像进行矫正处理，包括：

将所述文本图像输入STN(空间变换网络)，检测所述文本图像是否存在倾斜或弯曲的情况，若存在，对所述文本图像进行矫正处理。

3.根据权利要求2所述的方法，其中，将所述文本图像输入STN(空间变换网络)，检测所述文本图像是否存在倾斜或弯曲的情况，若存在，对所述文本图像进行矫正处理，包括：

将所述文本图像输入局部网络，得到所述文本图像和目标图像之间的映射矩阵；

根据所述映射矩阵进行运算，采用网格生成器得到所述目标图像中每个像素坐标点对应到所述文本图像的像素坐标点；

采样器根据所述目标图像中的坐标信息，在所述文本图像中进行采样，将所述文本图像中的像素复制到所述目标图像中，得到矫正处理后的文本图像。

4.根据权利要求1所述的方法，其中，提取所述文本图像的图像特征并进行融合处理，得到融合特征图，包括：

将所述文本图像输入到改进的VGG-16卷积基网络，提取所述文本图像的不同尺度的图像特征，并对所述不同尺度的图像特征进行融合处理，得到融合特征图。

5.根据权利要求1所述的方法，其中，对所述融合特征图进行空洞卷积操作，得到图像特征图，包括：

将所述融合特征图输入类Inception网络，对所述融合特征图进行空洞卷积操作，得到图像特征图。

6.根据权利要求1所述的方法，其中，对所述图像特征图进行卷积和激活操作后，将所述图像特征图输入长短期记忆网络，得到识别结果，包括：

对所述图像特征图进行卷积和激活操作，标记目标特征周边上下左右的四个方向的序列特征；

采用多维的长短期记忆网络(LSTM)学习所述四个方向的特征信息，得到识别结果。

7.根据权利要求1至6中任一项所述的方法，其中，所述方法还包括：

采用CTC(连接主义时间分类)对所述识别结果进行概率分布预测，得到概率值；

若所述概率值大于特定阈值，则输出所述识别结果；

若所述概率值小于或等于特定阈值，则将所述识别结果再次输入所述长短期记忆网络，得到新的识别结果。

8.一种识别弯曲多行文本图像的设备，其中，该设备包括：

输入模块，用于获取待处理的文本图像；

图像矫正模块，用于检测所述文本图像是否存在倾斜或弯曲的情况，若存在，对所述文本图像进行矫正处理；

特征融合模块，用于提取所述文本图像的图像特征并进行融合处理，得到融合特征图，对所述融合特征图进行空洞卷积操作，得到图像特征图；

识别模块，用于对所述图像特征图进行卷积和激活操作后，将所述图像特征图输入长短期记忆网络，得到识别结果。

9.一种计算设备，其中，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行权利要求1至7中任一项所述的方法。

10.一种计算机可读介质，其上存储有计算机程序指令，所述计算机可读指令可被处理器执行以实现如权利要求1至7中任一项所述的方法。