[发明专利]一种基于自注意力权重辅助模块的人脸表情识别方法有效
申请号: | 202110580434.3 | 申请日: | 2021-05-26 |
公开(公告)号: | CN113159002B | 公开(公告)日: | 2023-04-07 |
发明(设计)人: | 黎勇;汪榕涛;刘锐 | 申请(专利权)人: | 重庆大学 |
主分类号: | G06V40/16 | 分类号: | G06V40/16;G06V10/774;G06V10/82;G06N3/0464 |
代理公司: | 重庆大学专利中心 50201 | 代理人: | 黄涛 |
地址: | 400044 *** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 注意力 权重 辅助 模块 表情 识别 方法 | ||
1.一种基于自注意力权重辅助模块的人脸表情识别方法,其特征在于,包括以下步骤:
步骤1:获取完整人脸图片Iall以及人脸图片中鼻尖的位置;
步骤2:将人脸图片以经过鼻尖的直线划分为两半,得到第一半脸图片Il和第二半脸图片Ir;
步骤3:获取完整人脸图片Iall的全局特征向量Fall、第一半脸图片Il的局部特征向量Fl以及,第二半脸图片Ir的局部特征向量Fr;
步骤4:将全局特征向量Fall、局部特征向量Il及局部特征向量Fr分别送入人脸表情识别神经网络中;
所述人脸表情识别神经网络包括自注意力权重辅助模块和分类子网络;
所述分类子网络用于分别根据全局特征向量Fall、局部特征向量Fl及局部特征向量Fr进行表情分类识别,得到相应的全局预测向量Pall、第一半脸局部预测向量Pl和第二半脸局部预测向量Pr;
所述自注意力权重辅助模块根据局部特征向量Fr和Fl,得到第一半脸图片Il和第二半脸图片Ir各自在辅佐预测中的权重值wl和wr;
步骤5:依照全局预测向量Pall、第一半脸局部预测向量Pl和第二半脸局部预测向量Pr以及权重值wl和wr得出最终的表情识别结果。
2.根据权利要求1所述的基于自注意力权重辅助模块的人脸表情识别方法,其特征在于,所述自注意力权重辅助模块包括一含两个隐藏层的子网络,所述隐藏层间为全连接关系,自注意力权重辅助模块根据特征向量提取各半脸图片在辅佐预测中所占权重wl和wr的计算公式如下:
wi=σ[W2(W1Fi)];
其中,i∈{l,r},W1、W2分别为第一个和第二个隐藏层的参数,σ为Sigmoid函数。
3.根据权利要求1所述的基于自注意力权重辅助模块的人脸表情识别方法,其特征在于,所述分类子网络根据特征向量得到预测向量Pj的计算公式如下:
Pj=W3Fj,
式中:j∈{all,l,r},Pj的大小均为N×1,N为人脸表情类别数,即预测向量的每一元素各自对应一种表情类别;
该分类子网络只包含一层全连接层,W3为分类子网络的参数。
4.根据权利要求1所述的基于自注意力权重辅助模块的人脸表情识别方法,其特征在于,步骤3中,由一用于人脸特征提取的特征提取模块根据完整人脸图片Iall获取全局特征向量Fall,
根据第一半脸图片Il获取局部特征向量Fl,
以及根据第二半脸图片Ir获得局部特征向量Fr。
5.根据权利要求4所述的基于自注意力权重辅助模块的人脸表情识别方法,其特征在于,所述特征提取模块为一用于人脸特征提取的残差神经网络。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于重庆大学,未经重庆大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110580434.3/1.html,转载请声明来源钻瓜专利网。