[发明专利]基于注意力机制与GMN的多模态情感识别方法及系统在审
| 申请号： | 202110239787.7 | 申请日： | 2021-03-04 |
| 公开（公告）号： | CN113095357A | 公开（公告）日： | 2021-07-09 |
| 发明（设计）人： | 曹叶文;陈炜青;周冠群 | 申请（专利权）人： | 山东大学 |
| 主分类号： | G06K9/62 | 分类号： | G06K9/62;G06N3/04;G06K9/00;G06F40/30;G10L25/63 |
| 代理公司： | 济南圣达知识产权代理有限公司 37221 | 代理人： | 黄海丽 |
| 地址： | 266237 *** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了基于注意力机制与GMN的多模态情感识别方法及系统，对获取的待识别的视频进行预处理，得到文本、语音和面部表情特征；将文本、语音和面部表情特征，并发输入到训练后的多模态情感识别网络的LSTMs模型中，输出第一特征向量；对LSTMs模型所有相邻时间戳的存储器输出值，进行加权求和，得到第一加权后的特征；将第一加权后的特征，输入到训练后的门控记忆网络GMN中，输出第二特征向量；训练后的全局注意力机制网络GTAN，对每个LSTM模型下，所有时间戳的存储器输出值进行加权求和，得到第三特征向量；对第一、第二和第三特征向量进行融合，得到融合特征向量；对融合特征向量进行情感识别，得到情感识别结果。 | ||
| 搜索关键词： | 基于 注意力 机制 gmn 多模态 情感 识别 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于山东大学，未经山东大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110239787.7/，转载请声明来源钻瓜专利网。
- 上一篇：一种用于光催化剂性能检测的方法
- 下一篇：一种湿度可调节式生物试验装置
