[发明专利]序列识别方法及装置、电子设备和存储介质

说明书

本申请实施例公开了一种序列识别方法及装置、电子设备和存储介质，其中，所述方法通过序列识别网络实现，所述序列识别网络至少包括编码网络和解码网络，所述方法包括：获取待处理图像，所述待处理图像中包括待识别的对象序列；利用所述编码网络对所述待处理图像进行编码处理，得到第一特征序列；利用所述解码网络对所述第一特征序列进行解码处理，得到第二特征序列；基于所述第二特征序列，得到所述对象序列的序列识别结果；其中，所述序列识别网络是通过对所述编码网络和所述解码网络分别进行监督得到的。

相关申请的交叉引用

本申请要求2021年12月20日提交新加坡知识产权局的新加坡专利申请10202114103T的优先权，该申请的全部内容通过引用并入本文。

技术领域

本申请实施例涉及计算机视觉技术，涉及但不限于一种序列识别方法及装置、电子设备和存储介质。

背景技术

图像中的序列识别是计算机视觉中的一个重要研究课题。序列识别算法在场景文字识别、车牌识别等场景中有着广泛应用。常用算法主要有以下两大类：第一类是先由CNN(Convolutional Neural Networks，卷积神经网络)提取图像特征，然后使用RNN(Recurrent Neural Network，循环神经网络)对特征进行序列建模，最后利用CTC(Connectionist Temporal Classification)损失函数监督每个特征切片的预测并去重，得到输出。第二类是先由CNN提取图像特征，然后结合视觉注意力机制生成注意力中心，最后对每个注意力中心预测相应的结果并忽略其他多余的信息。

但是，现有的算法存在各种各样的缺陷，例如，第一类算法的主要缺陷是在RNN序列建模部分训练耗时严重，且模型只能用CTC损失函数单独监督，预测效果有限。第二类算法的主要缺陷是注意力机制对计算量与内存使用要求较高。因此，如何解决上述问题成为本领域技术人员研究的重点。

发明内容

有鉴于此，本申请实施例提供一种序列识别方法及装置、电子设备和存储介质。

本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供一种序列识别方法，通过序列识别网络实现，所述序列识别网络至少包括编码网络和解码网络，所述方法包括：获取待处理图像，所述待处理图像中包括待识别的对象序列；利用所述编码网络对所述待处理图像进行编码处理，得到第一特征序列；利用所述解码网络对所述第一特征序列进行解码处理，得到第二特征序列；基于所述第二特征序列，得到所述对象序列的序列识别结果；其中，所述序列识别网络是通过对所述编码网络和所述解码网络分别进行监督得到的。

通过上述方式，能够利用Transformer结构实现序列识别任务，简化了序列识别任务的实现流程，并且对序列识别网络中的编码网络和解码网络分别进行监督，得到良好的序列识别效果。

在一些实施例中，所述序列识别网络还包括特征提取网络；对应地，所述利用所述编码网络对所述待处理图像进行编码处理，得到第一特征序列，包括：利用所述特征提取网络对所述待处理图像进行特征提取，得到图像特征；利用所述编码网络对所述图像特征进行编码处理，得到第一特征序列。

通过上述方式，能够利用特征提取网络对待处理图像进行初步的特征编码和提取。

在一些实施例中，所述利用所述特征提取网络对所述待处理图像进行特征提取，得到图像特征，包括：对所述待处理图像进行分割，得到至少两个图像块；其中，所述至少两个图像块中不同的图像块之间不存在重合；对每一所述图像块进行特征提取，得到每一所述图像块对应的图像块特征；基于所述图像块特征，得到所述图像特征。

通过上述方式，能够对待处理图像进行分块、展平为序列，从而得到待处理图像对应的图像特征。