[发明专利]基于EC-STFL损失函数的自然场景动态表情识别方法及装置在审
| 申请号： | 202010831485.4 | 申请日： | 2020-08-18 |
| 公开（公告）号： | CN112101119A | 公开（公告）日： | 2020-12-18 |
| 发明（设计）人： | 郑文明;江星洵;宗源;夏万闯 | 申请（专利权）人： | 东南大学 |
| 主分类号： | G06K9/00 | 分类号： | G06K9/00;G06K9/62;G06N3/04 |
| 代理公司： | 南京众联专利代理有限公司 32206 | 代理人： | 李雪萍 |
| 地址： | 210096 *** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 基于 ec stfl 损失 函数 自然 场景 动态 表情 识别 方法 装置 | ||
1.一种基于EC-STFL损失函数的自然场景动态表情识别方法，其特征在于，该方法包括：
(1)获取数据集，数据集中包含若干自然场景下的动态表情视频和对应的表情类别标签；
(2)将数据集中的表情视频转换为表情图片序列；
(3)将数据集划分为训练集和测试集，选择一个深度神经网络作为主干网络，结合EC-STFL损失函数，搭建所需的网络模型；
(4)将数据集中的测试集图片序列输入到训练好的网络模型中，识别该视频中的表情类别；
(5)将数据集中的测试集图片序列输入到训练好的网络模型中，识别该视频中的表情类别。
2.根据权利要求1所述的基于EC-STFL损失函数的自然场景动态表情识别方法，其特征在于：步骤(2)具体包括：
(2-1)将数据库中的每个自然场景下的表情视频转换为表情图像序列；
(2-2)检测所述表情图像序列中各帧的人脸，丢弃不包含人脸的帧，将包含人脸帧中的人脸部分切割出来；
(2-3)结合(2-2)检测出的人脸关键点，对人脸表情图片进行仿射变换，将切割出的各帧人脸表情图片规范化；
(2-4)利用插值和关键帧挑选算法对将由(2-3)获取的人脸图像进行处理，得到每个表情视频对应的相同帧数人脸图像。
3.根据权利要求1所述的基于EC-STFL损失函数的自然场景动态表情识别方法，其特征在于：
(3-1)所述的神经网络可为任一可进行视频分类的深度时空神经网络；
(3-2)所述的EC-STFL损失函数应接在深度神经时空网络中最后几层全连接中的任一层之后；
(3-3)所述的EC-STFL损失函数计算方法为：
式中LEC-STFL的计算方法为神经网络训练时一次批处理的损失函数计算，其中，表示批处理中的任一样本，形如表示*行·列的矩阵；n表示批处理时包含的样本个数，N{xi}表示批处理中与xi具有相同类别标签的样本集合，|N{xi}|代表集合N{xi}的数目。
4.根据权利要求3所述的基于EC-STFL损失函数的自然场景动态表情识别方法，其特征在于：步骤(3-3)中的LEC-STFL损失函数与softmax损失函数一起使用，对主干神经网络进行联合训练：
L＝LS+λLEC-STFL
其中，LS表示softmax损失函数，λ表示损失函数L中用来平衡损失函数LEC-STFL和损失函数LS的超参数。
5.一种基于EC-STFL损失函数的自然场景动态表情识别装置，其特征在于：包括处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-4中任意一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于东南大学，未经东南大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202010831485.4/1.html，转载请声明来源钻瓜专利网。
