[发明专利]一种基于空间变换的自然场景下文本识别方法

说明书

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种基于空间变换的自然场景下文本识别方法。

背景技术

人们在生产和生活中，会接触到大量的自然场景下的文字，像路标、广告牌、产品包装等，这些文字包含着丰富的信息，自动地获取图像中的文字信息可以帮助人们更有效地理解图像，提取这些文字信息具有非常重要的实用价值，对无人驾驶、自动获取地理位置以及基于图像的自动翻译等都有着很强的实用性。自然场景图像背景通常比较复杂，文字分布不规律，且容易受到拍摄角度及光照等因素的影响，因此自然场景中的文本分析一直是计算机视觉技术领域的难点之一。

发明内容

本发明的目的在于提供一种基于空间变换的自然场景下文本识别方法，该方法文本识别准确率高，适应能力强。

为实现上述目的，按照本发明的一个方面，提供了一种基于空间变换的自然场景下文本识别方法，包括下述步骤：

(1)训练得到文本识别的参数，所述参数包括基准点定位网络模型、图像预处理网络模型、图像编码器网络模型以及特征解码器网络模型：

(1.1)标记训练图像集中所有文本图像的文本内容，得到训练数据集；

具体地，对给定的文本图像，用人工标注的方法获取文本图像中文本的内容；对训练图像集中的所有文本图像都进行标注，就可以得到训练数据集，记为其中Itr_i表示训练图像集中的第i张图像，Ltr_i表示图像Itr_i中的文本内容，ltr_i,t表示Ltr_i中的第t个字符，Ttr_i表示Ltr_i中字符个数，Ntr为训练图像个数；

(1.2)定义用于对待识别图像进行识别的级联网络，所述级联网络由基准点定位网络、图像预处理网络、图像编码器网络以及特征解码器网络构成，根据上述训练数据集，利用反向传导方法训练该级联网络，得到基准点定位网络模型、图像编码器网络模型以及特征解码器网络模型；

(1.2.1)对训练图像Itr，在图像上取两条平行的线段，线段的端点都在图像的左右边界上，在这两条线段上分别等间距的取K/2个点作为基准点，其中K为设置的基准点个数，这样就可以得到K个初始化的基准点，将这些基准点的坐标保存在基准点坐标矩阵Ctr中，记为Ctr＝[ctr₁,...,ctr_K]，其中坐标系的原点为图像的中点，ctr_k表示第k个基准点，且ctr_k＝[xctr_k,yctr_k]^T，xctr_k和yctr_k分别表示该基准点在训练图像Itr_i上归一化后的横纵坐标，xctr_k∈[-1,1]，yctr_k∈[-1,1]，上标T表示矩阵转置；

(1.2.2)以卷积神经网络作为图像基准点定位网络，该卷积神经网络包含四个卷积层、四个最大池化层、两个全连接层以及一个双曲正切输出层；根据基准点坐标初始化所述基准点定位网络的的权重参数和偏置量，其中权重参数均为0，基准点对应的偏置量为1，其他的偏置量均为0；

(1.2.3)对训练图像Itr，令图像Itr′为Itr经过变换后的图像，且变换后图像的宽度和高度分别为Wf和Hf，均为固定的值，定义变换后的图像的基准点坐标矩阵为Ctr′＝[ctr′₁,...,ctr′_K]，其中K为基准点的个数，变换后的图像中的基准点与原训练图像中的基准点是一一对应的，且变换后的图像的基准点等间距的分布在图像Itr′的上下两条边上，其中第ktr个基准点ctr′_ktr＝[xctr′_ktr,yctr′_ktr]^T，ctr′_k对应原始训练图像Itr中的第ktr个基准点ctr_ktr，xctr′_ktr和yctr′_ktr分别表示该基准点在图像Itr′上归一化后的横纵坐标，xctr′_ktr∈[-1,1]，yctr′_ktr∈[-1,1]；

(1.2.4)计算薄板样条函数转换矩阵Tps，记为：