[发明专利]基于Transformer的标记选择和合并的表情识别方法及系统

说明书

本发明提供基于Transformer的标记选择和合并的表情识别方法及系统，包括：将图像分割成不重叠的斑块，并通过线性投影映射到一个D维度的特征向量，构成标记嵌入向量；将其输入第一Transformer网络，得到标记特征；动态地加入α参数计算标记特征的每个标记向量的权重，将标记向量的权重的数值较大的前k个标记向量输入第二Transformer网络，得到动态标记选择的预测结果；将标记特征进行重塑，得到新的结构化特征，并合并，组成包含上下文特征的标记；将其输入第三Transformer网络编码，得到标记合并的预测结果；取动态标记选择的预测结果和标记合并的预测结果取平均，取阈值最大的为表情识别的结果。

技术领域

本发明涉及模式识别技术领域，具体涉及基于Transformer的标记选择和合并的表情识别方法及系统。

背景技术

对人的表情进行识别，如高兴，难过等，是一个挑战性的任务，也是目前人机交互领域非常火热的任务。目前基于卷积神经网络（Convolutional Neural Networks，简称CNN）的方法目前在表情识别领域取得了巨大成功。事实上，CNN具有参数共享和局部连接特性，因此带来了神经网络层具有平移等变性的能力。同时CNN在很长一段时间内在表情识别任务上都占据着主导地位，广泛地提升了整个领域。与CNN相比，Transformer是一个受欢迎的选择，主要用于自然语言处理（Natural Language Processing, 简称NLP）任务，因为它具有对长距离依赖关系建模的优势。受到Transformer在NLP任务中取得巨大成功的启发。一些研究人员试图将Transformer应用于许多视觉任务，例如，Vision Transformer（ViT）。与捕捉局部性的CNN相比较，基于Transformer的方法明确地利用了全局依赖性，并显示出相当的甚至更好的性能。在本文中，我们试图将Transformer的适用性扩展到表情识别领域。

目前，我们观察到两种形式的Transformer网络。第一种是使用CNN与Transformer相结合。如DETR，其中CNN提取了图像的特征。然后再由Transformer进行序列建模。第二种是纯粹的Transformer，主要代表是ViT。ViT将图像切成斑块，而Transformer中的每块都对所有斑块进行全局处理，在一些大规模数据集中取得了很好的性能。例如，ImageNet。考虑到在Transformer block相同的条件下，第一种方法比第二种方法更复杂，参数数量更多。因此我们选择第二种方法，即纯粹的Transformer，来构建表情识别的稳健基线。

发明内容

有鉴于此，本发明提供一种基于Transformer的标记选择和合并的表情识别方法，所述方法包括：

S1：将输入的RGB图像分割成不重叠的斑块，每个所述斑块被认为是一个标记；

S2：通过线性投影将每个斑块映射到一个D维度的特征向量X_p，构成标记嵌入向量Z₀；

S3：将所述标记嵌入向量输入第一Transformer网络，得到标记特征Z_L=[Z_L^f: Z_L⁰]；

S4：动态地加入α参数计算所述标记特征的每个标记向量的权重，将标记向量的权重的数值较大的前k个标记向量输入第二Transformer网络进行二次编码，得到动态标记选择的预测结果；