[发明专利]一种整合人脸全局和局部特征的表情识别方法在审

专利信息
申请号: 202011422314.2 申请日: 2020-12-08
公开(公告)号: CN112651301A 公开(公告)日: 2021-04-13
发明(设计)人: 张繁;陆秀芹;李小薪 申请(专利权)人: 浙江工业大学
主分类号: G06K9/00 分类号: G06K9/00;G06K9/62;G06N3/04;G06N3/08
代理公司: 杭州斯可睿专利事务所有限公司 33241 代理人: 王利强
地址: 310014 浙江省*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 整合 全局 局部 特征 表情 识别 方法
【权利要求书】:

1.一种整合人脸全局和局部特征的表情识别方法,其特征在于,该方法包括以下步骤:

步骤1:对样本图像进行预处理,得到统一大小的人脸灰度图片;

步骤2:将步骤1预处理后的图片划分训练集和测试集,用于网络模型的训练和测试;

步骤3:使用整合人脸全局和局部特征的表情识别网络模型GL-FER中的全局分支提取人脸全局特征,两个局部分支提取人脸细节特征;

步骤4:将步骤3提取的人脸全局特征和局部特征进行融合,并将融合后的特征输入到softmax分类器中进行训练,得到一个整合人脸全局和局部特征的识别模型;

步骤5:将测试样本数据输入到步骤4设计的识别模型中,实现表情识别结果的更精准输出。

2.如权利要求1所述的一种整合人脸全局和局部特征的表情识别方法,其特征在于,所述步骤1中,预处理过程包括:采用基于Haar特征的Adaboost算法先对数据库中的样本数据进行人脸检测,然后使用基于直方图均衡化的灰度归一化方法得到光照均匀的灰度图像,之后对灰度图像进行尺寸归一化得到同一大小的灰度图,最后对图像进行像素归一化处理,方便快速收敛网络。

3.如权利要求1或2所述的一种整合人脸全局和局部特征的表情识别方法,其特征在于,所述步骤1的原始图像均统一大小至64*64像素。

4.如权利要求1或2所述的一种整合人脸全局和局部特征的表情识别方法,其特征在于,所述步骤3中,整合人脸全局和局部特征的表情识别网络模型提取人脸全局和细节特征过程包括:

使用7*7的卷积核对人脸图像进行卷积,加入BN和Relu激活函数,加快网络学习速率,防止网络过拟合,使用最大池化操作对图像降维处理后输出;

设计网络残差块Basic Block;

设计4层Conv Block:Conv Block2、Conv Block3、Conv Block4、Conv Block5,每层Conv Block由不同个数网络残差块组成;

Conv Block3之后设计一个全局分支(Global branch)和两个局部分支(Localbranch-1,Local branch-2)结构;

Conv Block5后对全局分支做平均池化处理;

Local branch-1和Local branch-2分支从第五层网络结构开始对图像进行从上到下的切割,Local branch-1切割为两块,Local branch-2切割为三块,用于提取人脸细节特征;

使用最大池化对三个分支中提取的全局特征(Global feature)和细节特征(Localfeature-1、Local feature-2)降维处理;

使用1*1的卷积对提取的局部特征输出向量和全局特征输出向量降维操作,保持特征向量的维度一致;

网络残差块设计包括:对上一层的输入图像使用1*1的卷积核进行卷积,加入BN和Relu激活函数后使用3*3的卷积核进行卷积,之后添加BN和Relu激活函数后再次使用1*1的卷积核进行卷积,每个网络残差块的输入和输出之间使用1*1的卷积保持输出维度一致。

5.如权利要求1或2所述的一种整合人脸全局和局部特征的表情识别方法,其特征在于,GL-FER网络模型中Conv Block2由三个网络残差块组成,Conv Block3由4个网络残差块组成,Conv Block4由6个网络残差块组成,Conv Block5由3个网络残差块组成。

6.如权利要求1或2所述的一种整合人脸全局和局部特征的表情识别方法,其特征在于,GL-FER三个分支的前三层网络结构共享Conv Block2、Conv Block3网络层,到ConvBlock4时分成三个支路,第一个支路是Global branch,提取全局特征;第二个支路和第三个支路分别是:Local branch-1,Local branch-2,提取细节特征。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江工业大学,未经浙江工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202011422314.2/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top