[发明专利]一种基于注意力机制的文本识别方法

权利要求书

1.一种基于注意力机制的文本识别方法，其特征在于：基于空间注意力的网络SAN是一个端到端的文本识别模型，文本识别模型包括带有局部神经网络、残差神经网络和坐标信息的特征提取器以及基于注意力机制的空间解码器；文本识别模型基于编码解码结构，文本识别模型为编码器和解码器；编码器是用于对输入的图像进行编码，得到解码器可以识别的编码特征序列；解码器用于解码编码器的编码特征，从而实现识别图像中的文本；

将编码器视为一个特征提取网络，编码器用于提取图像中的特征；特征提取网络是一个带有非局部神经网络的残差块连接的神经网络；输入大小为W×H的图像到图像特征提取网络中，得到整个图像的特征图，W表示图像的宽，H表示图像的高；然后使用在编码器和解码器之间的注意力机制，在每个时间步关注空间区域中的一部分；最后使用基于LSTM的解码器，预测每个时间步的输出，得到字符序列C＝{C₁，C₂，......，C_N}，N表示字符序列的个数，C₁，C₂.....C_N表示序列的各个元素；

第一、特征提取网络：

(1)非局部神经网络

非局部操作将某位置处的特征值计算为输入特征位置的所有位置特征的加权和，如公式(1)所示；

i表示在输入图像X中输出位置的索引，j表示在输入图像X中其余所有位置的索引，y表示和输入图像大小相同的输出特征图；函数f表示计算i和所有j之间的一个标量，函数g计算一个输入特征的表示，C(x)是一个正则化因子；

函数g为一个线性变换层，如公式(2)所示；

g(x_j)＝W_gx_j    (2)

W_g是一个能够学习的权值，通过使用1×1的卷积层来实现；函数f被定义为：

θ(x_i)＝W_θx_i和是两个嵌入层，正则化参数C(x)由N表示，N是特征图X中位置的数量；同时，使用一个残差结构来得到最终的非局部块，

z_i＝W_zy_i+x_i     (4)

y是公式(1)得到；

(2)编码网络

构建一个残差全局编码网络来获取全局的空间信息；在获取局部特征时，使用部分预训练的ResNet-101模型的参数来初始化网络，提高模型的训练效率；

使用f＝{f_i，j，c}来表示输入图像x到特征提取网络后得到的2D空间特征，i和j分别表示2D空间特征中图像的宽度和高度，c表示通道数；在空间特征中，加入了使用one-hot编码的坐标信息，得到最终的全局特征；

和是两个嵌入矩阵，把左边信息嵌入到和图像特征相同语义空间中；W_e是一个权值矩阵，由一个1×1的卷积层实现；

第二、基于注意力的解码器：

在识别到第t个时间步时，得到输出y_t即第t个时间步的预测的值：

y_t＝softmax(W^Ts_t)    (6)

W^T是一个能够学习的参数，s_t是循环神经网络在时间步t的隐层结点；s_t是由上一个时间步的隐层结点值和预测的标签值以及当前结点的注意力上下文向量c_t得到：

s_t＝LSTM(s_t-1，y_t-1，c_t)    (7)

上下文向量是使用注意力机制得到一个加权求和的特征表示：

在网络结构中，使用2D注意力机制，在2D空间特征上捕获的注意力权值和每个位置的特征值逐点相乘得到每个位置的加权特征；然后，再对所有的位置进行求和，最终选出一个单一位置大小的特征，表示加权后的特征值；在公式(8)中，注意力权值由score map通过softmax激活得到：

函数f_att由一个单层感知机实现：

最终，模型的损失函数由以下公式(12)计算得到：

x表示输入的文本图像，θ表示需要学习的参数，y_t表示第t个时间步的预测的值。