[发明专利]基于视线方向和LSTM神经网络的情感预测方法及系统有效
申请号: | 201910903387.4 | 申请日: | 2019-09-24 |
公开(公告)号: | CN110705413B | 公开(公告)日: | 2022-09-20 |
发明(设计)人: | 徐枫;温佺;娄昕;杨东;吕晋浩;雍俊海;戴琼海 | 申请(专利权)人: | 清华大学;中国人民解放军总医院 |
主分类号: | G06V40/16 | 分类号: | G06V40/16;G06V40/18;G06V20/40;G06V10/774;G06K9/62 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 王艳斌 |
地址: | 10008*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 视线 方向 lstm 神经网络 情感 预测 方法 系统 | ||
本发明公开了一种基于视线方向和LSTM神经网络的情感预测方法及系统,其中,该方法包括:采集不同人物在不同情感状态下的脸部视频;确定所有视频帧的真实情感标签,并将每一帧的情感标签与该帧中人物的视线方向共同组成情感预测训练集;利用该训练集对长短期记忆深度神经网络进行训练,得到的包含最优参数的深度神经网络;最终向最优参数深度神经网络输入任意视频的人物视线方向,对当前帧进行情感预测。本发明实施例的方法,利用长短期记忆深度神经网络对连续视频帧中的视线方向和人类情感间的关系进行建模,通过该网络预测每个视频帧中人物的情感状况,从而在时域上对人物的情感变化进行判断。
技术领域
本发明涉及计算机视觉、深度学习技术领域,特别涉及一种基于视线方向和LSTM神经网络的情感预测方法及系统。
背景技术
眼睛是人类的心灵之窗,在通过面部表情表达内心情感的基础上,人类更善于通过眼睛表达心理活动,如通过视线方向的快速变化和眨眼睛的频率表现高兴、悲伤、愤怒、恐惧等等情感。而不同于大尺度的面部表情,在发生不同心理活动时眼睛的变化不容易被察觉,且通过眼睛不容易直接判断人的心理活动。在人机交互中,若AI能够捕捉视线方向的变化从而判断人的心理情感状态,其便可给出更加恰当的交互内容;在诸多刑事案件中,公安人员在对犯罪嫌疑人的审讯中若通过视线方向的变化判断嫌疑人的心理活动,便可制定更优的侦破策略。因此,正是由于眼睛能够表达人类丰富的情感和心理活动,视线方向与情感表达之间的关系有着很高的科研和应用价值。
基于此,在无法由脸部直接表达情绪的情况下,如何通过视线方向变化,轻松地预测出其心理活动的技术问题,亟待解决。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的一个目的在于提出一种基于视线方向和LSTM神经网络的情感预测方法,该方法所需的训练集易于获取,网络结构和输入输出简单易于实现,用户可根据网络输出的连续的情感标签直接的判断人物情感的发生和变化,对计算机视觉、人物情感分析判断有较大意义。
本发明的另一个目的在于提出一种基于视线方向和LSTM神经网络的情感预测系统。
为达到上述目的,本发明一方面提出了基于视线方向和LSTM神经网络的情感预测方法,包括以下步骤:采集人物脸部视频;确定所述人物脸部视频的真实情感标签和每一帧情感标签的视线方向,以构建情感预测训练集;利用所述情感预测训练集对长短期记忆深度神经网络进行训练,获得最优参数深度神经网络;向所述最优参数深度神经网络输入任意视频的人物视线方向,得到当前帧的情感预测标签。
本发明实施例的基于视线方向和LSTM神经网络的情感预测方法,通过采集人物不同在不同情感状态下的脸部视频和对应的连续的视线方向,对LSTM网络进行训练得到网络的最优参数,从而在处理未知情感标签的视频时,通过LSTM网络在前一时刻的状态和当前时刻的视线方向,直接判断前时刻的人物情感的发生和变化。
另外,根据本发明上述实施例的基于视线方向和LSTM神经网络的情感预测方法还可以具有以下附加的技术特征:
在本发明的一个实施例中,所述人物脸部视频为任意人物不同情感下的脸部变化视频。
进一步地,在本发明的一个实施例中,所述确定所述人物脸部视频的真实情感标签和每一帧情感标签的视线方向,以构建情感预测训练集,包括:人为规定所述人物脸部视频的多个情感标签;获取所述人物脸部视频中每一帧的视线方向;搭建所述多个情感标签与所述每一帧的视线方向的映射关系,得到所述情感预测训练集。
进一步地,在本发明的一个实施例中,采用所述情感预测训练集中的真实情感标签对所述长短期记忆深度神经网络进行监督训练。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学;中国人民解放军总医院,未经清华大学;中国人民解放军总医院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910903387.4/2.html,转载请声明来源钻瓜专利网。