[发明专利]一种基于多模态融合的社交情感分类方法在审
| 申请号： | 201811376297.6 | 申请日： | 2018-11-19 |
| 公开（公告）号： | CN109508375A | 公开（公告）日： | 2019-03-22 |
| 发明（设计）人： | 徐光侠;李伟凤;刘俊;吴涛;王天羿;吴佳健 | 申请（专利权）人： | 重庆邮电大学 |
| 主分类号： | G06F16/35 | 分类号： | G06F16/35;G06F17/27;G06N3/04 |
| 代理公司： | 重庆市恒信知识产权代理有限公司 50102 | 代理人： | 李金蓉 |
| 地址： | 400065 重*** | 国省代码： | 重庆;50 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提出了一种基于多模态融合的社交情感分类方法，涉及音频、视觉和文本形式的信息。情感计算分析研究大部分仅通过分析单模信息来提取情感信息，忽视了信息源之间的联系。本发明对于视频信息，提出3DCLS(3D CNN‑ConvLSTM)模型，通过三维卷积神经网络(C3D)和卷积长短期记忆递归神经网络(ConvLSTM)的级联组合来为情感识别任务建立时空信息。对于文本信息，通过CNN‑RNN混合模型进行文本情感分类。利用决策级融合对视觉、音频、文本进行异质性融合。本发明学到的深时空特征有效地模拟了视觉外观和运动信息，在融合文本和音频信息后，有效的提高了情感分析的准确率。 | ||
| 搜索关键词： | 融合 情感分类 多模态 文本 视觉 递归神经网络 卷积神经网络 文本情感分类 混合模型 级联组合 情感分析 情感计算 情感识别 情感信息 任务建立 时空特征 时空信息 视觉外观 视频信息 文本信息 文本形式 音频信息 运动信息 信息源 异质性 有效地 准确率 单模 卷积 三维 分析 决策 研究 | ||
【主权项】：
1.一种基于多模态融合的社交情感分类方法，其特征在于：包括情感特征提取和融合两个步骤；所述情感特征提取步骤包括：利用CNN‑RNN混合模型提取文本信息中的情感特征并进行分类处理；利用3DCLS模型提取视觉信息中的时空特征，卷积LSTM对时空特征序列进行分类处理；利用OpenSMILE工具提取音频特征，再进行情感分类预测；所述融合步骤为将特征提取获得的结果利用决策融合方法进行异质性融合。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于重庆邮电大学，未经重庆邮电大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811376297.6/，转载请声明来源钻瓜专利网。
