[发明专利]基于Transformer的标记选择和合并的表情识别方法及系统

摘要

本发明提供基于Transformer的标记选择和合并的表情识别方法及系统，包括：将图像分割成不重叠的斑块，并通过线性投影映射到一个D维度的特征向量，构成标记嵌入向量；将其输入第一Transformer网络，得到标记特征；动态地加入α参数计算标记特征的每个标记向量的权重，将标记向量的权重的数值较大的前k个标记向量输入第二Transformer网络，得到动态标记选择的预测结果；将标记特征进行重塑，得到新的结构化特征，并合并，组成包含上下文特征的标记；将其输入第三Transformer网络编码，得到标记合并的预测结果；取动态标记选择的预测结果和标记合并的预测结果取平均，取阈值最大的为表情识别的结果。