[发明专利]一种基于深度学习的端到端告警信息识别方法

权利要求书

1.一种基于深度学习的端到端告警信息识别方法，它包括：

步骤S1：图像预处理：首先，截取由固定相机拍摄的视频帧图像，并且用该相机拍摄标定板图像；然后根据标定板图像获取相机内参和畸变参数，并且根据参数矫正原图像；最后，在截取到的第一帧图像上标定实际告警信息区域的四个顶点，同时矫正由于拍摄角度造成的告警信息倾斜，获得矫正后的只包含告警信息的矩形区域；

步骤S2：采用水平投影算法对步骤S1获得的告警信息矩形区域图像进行水平投影，根据投影结果将告警信息图像按行分割，获得告警信息的行图像片；

步骤S3：采用传统算法阈值分割、形态学变换和连通域筛选检测出步骤S2获得的所有图像片中的文字区域；

步骤S4：采用结合卷积神经网络、注意力模型和循环神经网络的深度学习算法端到端识别步骤S3检测到的所有文字区域，获得一帧图像上的所有告警信息；具体步骤包括：

步骤S4.1：构建网络结构，该结构由卷积神经网络、注意力模型和循环神经网络构成，首先，卷积神经网络在整个网络结构前端，从输入的图片中提取特征；接着，注意力模型根据循环神经网络的隐藏状态以及卷积神经网络输出的特征计算出注意力权重；最后，将卷积神经网络输出的特征图谱与注意力权重结合起来，输入循环神经网络进行编码，得到整个字符集的概率分布，概率最高的编号所对应的字符为最后的识别结果；

步骤S4.1中，从输入的图片中提取特征的表达式为：

f＝{f_i，j，c}

式中：f表示特征图谱，i，j表示在特征图谱中的位置，c表示通道数；

注意力权重的计算方法为：

注意力模型根据循环神经网络的隐藏状态计算得到注意力掩模，表示为：

式中，α_t，i，j表示注意力掩模，V_α表示一个向量，s_t表示循环神经网络的隐藏状态，f_i，j表示特征图谱中坐标为i，j处的特征，e_i、e_j分别表示坐标i，j的独热编码，W表示对应的参数；

结合卷积神经网络输出的特征计算出注意力权重：

u_t，c＝α_t，i，jf_i，j，c

式中，u_t，c表示注意力权重，α_t，i，j表示注意力掩模，f_i，j，c表示卷积神经网络输出的特征；

所述将卷积神经网络输出的特征图谱与注意力权重结合起来，输入循环神经网络进行编码，得到整个字符集的概率分布的方法为：

循环神经网络中加入了长短时记忆模块(LSTM)，使得循环神经网络可以对任意长度的序列进行操作，将卷积神经网络输出的特征图谱与注意力权重结合起来，输入循环神经网络进行编码，得到整个字符集的概率分布；循环神经网络在t时刻的输入表示为：

式中，表示循环神经网络在t时刻的输入，表示前一时刻预测出的字符的独热编码，u_t-1表示前一时刻的注意力权重，W表示对应参数；

循环神经网络的输出表示为：

式中，(o_t，s_t)表示循环神经网络的输出，分别表示输入和上一时刻的隐藏状态；

经过softmax层得到对应字符集的概率分布：

表示字符集概率分布，o_t表示t时刻循环神经网络的输出，u_t表示t时刻注意力权重，W表示对应参数；

概率最高的编号所对应的字符为最后的识别结果：

c_t表示字符最后识别结果，表示字符对应的概率分布；

步骤S4.2：训练深度学习模型：首先采集每个类别告警信息的图片组成训练集，制作数据集的图片来源于拍摄到的电子屏幕告警信息的视频图像，对原图片上的告警信息按类分割，获得的每幅图像只包含一类告警信息，最后获得的图像涵盖所有告警信息，并且数据集由这些子图像组成；在获得数据集之后分别对文字信息进行标记，一幅图像对应一个标签，并且统计告警信息字符集；最后使用数据集根据构建出的网络结构迭代训练深度学习模型；

步骤S4.3：识别告警信息：告警信息识别是一次按行识别每一类告警信息，输入为包含文字的告警信息图片，将这些图片输入到训练好的深度学习模型，输出为对应的文字序列；识别过程中无需将这些文字依次分割。