[发明专利]基于知识图谱的语音和微表情识别自杀情绪感知方法

说明书

本发明公开了一种基于知识图谱的语音和微表情识别自杀情绪感知方法。所述方法包括以下步骤：使用带有红外摄像头的Kinect对语音和视频进行采集；分析视频中的图像帧和语音并转换为相应的特征文本；基于知识图谱对特征文本进行分析并生成最终的目标情绪文本，判断是否属于自杀情绪。本发明利用Kinect用于数据采集，具有性能高和操作方便的特点。

技术领域

本发明属于情绪感知领域，特别涉及一种基于知识图谱的语音和微表情识别自杀情绪感知方法。

背景技术

自杀是指个一个人在复杂心理作用下，蓄意或自愿采取各种手段结束自己生命的行为；现如今人们的生活水平日益提高，基本上已经告别了食不果腹、衣不蔽体的年代，看似已经衣食无忧，但经常听到某某自杀的新闻报道，似乎自杀率并未因生活水平的提高而有显著的改善。那么，如何才能降低自杀率成为一个热点问题。

目前，借助科技，摄像头下的行为活动是真实，对面部微表情和语音进行采集，电脑自行感知分析数据可以判断是否具有自杀倾向。在技术实现方面，有高桥利用脑电图信号将视频的情绪分类(K.Takahashi,Remarks on emotion recognition from multi-modal bio-potential signals,Proc.IEEE Int.Conf.Ind.Technol.(ICIT),vol.3,pp.1138-1143,Jun.2004.)，香奈儿利用脑电时频特征对三种情绪识别(G.Chanel,J.J.M.Kierkels,M.Soleymani,T.Pun,Short-term emotion assessment in a recallparadigm,Int.J.Human Comput.Stud.,vol.67,no.8,pp.607-627,Aug.2009.)，金姆等人利用生物传感器从肌电图、心电图、皮肤电导和呼吸变化来对音乐情感进行分类(J.Kim,and E.André,“Emotion recognition based on physiological changes in musiclistening,”IEEE Transactions on Pattern AnalysisMachine Intelligence,vol.30,no.12,pp.2067-2083,2008.)。传感器等硬件设备的不方便使得需要考虑非接触式的数据提取。从面部表情出发感知，徐等提出了一种通过视频序列的微表情来感知人的情绪的方法(F.Xu,J.Zhang and J.Z.Wang,“Microexpression Identification andCategorization Using a Facial Dynamics Map,”IEEE Transactions on AffectiveComputing,vol.8,issue 2,pp.1-1,2017.)，文献Shojaeilangari S,Yau W Y,NandakumarK,et al.“Robust Representation and Recognition of Facial Emotions UsingExtreme Sparse Learning[J]”.IEEE Transactions on Image Processing,2015,24(7):2140-2152.)提出了一种基于动态贝叶斯网络的统一概率框架，能够同时、一致地表示人脸在不同层次上的演化，以识别情感。在基于语音方面，很多研究都是基于纯文本数据进行情绪识别的(C.-H.Wu,Z.-J.Chuang and Y.-C.Lin,Emotion Recognition from TextUsing Semantic Label and Separable Mixture Model,ACM Trans.Asian LanguageInformation Processing,vol.5,no.2,pp.165-182,June 2006.C.-M.Lee andS.S.Narayanan,ldquo,Toward Detecting Emotions in Spoken Dialogs,rdquo,IEEE Trans.Speech and Audio Processing,vol.13,no.2,pp.293-303,Mar.2005.L.Devillers,L.Lamel and I.Vasilescu,ldquo,Emotion Detection inTask-Oriented Spoken Dialogues,rdquo,Proc.IEEE Int',l Conf.Multimedia andExpo,pp.549-552,2003.)。而换一种预测方法并且考虑多种特征因素可能就会对识别正确率有很大提升。