[发明专利]基于Transformer的标记选择和合并的表情识别方法及系统

权利要求书

1.基于Transformer的标记选择和合并的表情识别方法，其特征在于，所述方法包括：

S1：将输入的RGB图像分割成不重叠的斑块，每个所述斑块被认为是一个标记；

S2：通过线性投影将每个斑块映射到一个D维度的特征向量X_p，构成标记嵌入向量Z₀；

S3：将所述标记嵌入向量输入第一Transformer网络，得到标记特征Z_L=[Z_L^f: Z_L⁰]；

S4：动态地加入α参数计算所述标记特征的每个标记向量的权重，将标记向量的权重的数值较大的前k个标记向量输入第二Transformer网络进行二次编码，得到动态标记选择的预测结果；

所述动态地加入α参数计算所述标记特征的每个标记向量的权重的具体方法包括，第i个标记向量的权重描述为：

其中，

w_i为第i个标记的初始权重；

α_i为参数α的第i个分量,一个可学习的超参数；

；

||•||为2范数；

S5：将所述标记特征Z_L的Z_L^f进行重塑，得到新的结构化特征；将所述新的结构化特征合并，组成包含上下文特征的标记；将所述包含上下文特征的标记输入第三Transformer网络编码学习，得到标记合并的预测结果；

所述将所述标记特征Z_L的Z_L^f进行重塑，重塑的具体条件为：

Z_L^s∈R^Hs×Ws×D

其中，；

所述将所述新的结构化特征合并，合并的具体条件为：

Z_L,tm∈R^Hm×Wm×D

其中，

；

S表示滑动窗口的步长；

P_h^m为合并后斑块的高度；

P_w^m为合并后斑块的宽度；

H、W_d分别表示图像的高度、宽度；

S6：表情识别最后的结果是动态标记选择的预测结果和标记合并的预测结果取平均，从平均结果中取预测结果最大的值表示表情识别的结果。