[发明专利]一种基于跨模态注意力增强的唇语识别方法及系统

权利要求书

1.一种基于跨模态注意力增强的唇语识别方法，其特征在于，包括：

1）根据包含说话者人脸关键点的输入图像提取唇部区域图像序列Va，并根据唇部区域图像序列Va提取光流图序列Vo；将唇部区域图像序列Va、光流图序列Vo分别输入预先训练好特征提取器，得到唇部特征序列Hv、唇部间运动特征序列Ho；将唇部特征序列Hv、唇部间运动特征序列Ho分别进行位置编码，得到引入位置信息的唇部特征序列Hvp和唇部间运动特征序列Hop两者构成的引入位置信息的特征序列X∈{Hvp,Hop}；

2）将得到的引入位置信息的特征序列X∈{Hvp,Hop}输入跨模态注意力模块得到具有上下文信息的唇部特征Hup，并融合唇部特征序列Hv得到增强的唇部特征序列Henh；

3）基于多分支注意力机制对增强的唇部特征序列Henh进行模态内的关联表示，得到增强的唇部特征序列Henh的关联表示Henc；

4）将增强的唇部特征序列Henh的关联表示Henc作为输入特征，通过注意力层计算输出特征和输入特征之间的相似性，得到输出特征的表示向量Hdec；

5）通过多层感知机对输出特征的表示向量Hdec进行概率表示，并基于概率表示结果获取得到最优的识别结果；

步骤3）包括：

3.1）利用线性映射矩阵，对增强的唇部特征序列Henh在n个特征空间内进行子空间表示，得到多个特征空间对应维度的特征表示序列；

3.2）基于n个特征空间内各特征之间的相似性，得到每个特征空间的特征关联表示；

3.3）将各个特征空间的特征关联表示进行级联，得到增强的唇部特征序列Henh的关联表示Henc。

2.根据权利要求1所述的基于跨模态注意力增强的唇语识别方法，其特征在于，步骤1）中将唇部特征序列Hv、唇部间运动特征序列Ho分别进行位置编码的函数表达式为：

，，

上式中，PE_(pos,i)表示位置pos特征的维度i在位置编码函数PE中位置编码，pos表示每个输入特征在唇部特征序列Hv、唇部间运动特征序列Ho两者构成的序列X₀∈{Hv,Ho}中的位置，i表示特征向量所在的维度，PE表示位置编码函数，d代表特征向量具有的维度，X为引入位置信息的特征序列。