[发明专利]融合肢体语言、微表情和语言的抑郁和自杀倾向识别方法

说明书

本发明提供一种融合肢体语言、微表情和语言的抑郁和自杀倾向识别方法。所述方法包括以下步骤：用带有红外摄像头的Kinect来收集视频和音频，并将视频信息和音频信息分别转换为特征文本描述；将生成的特征文本描述进行信息融合，利用自组织映射（SOM）和补偿层对处理结果进行情感分类；将得到的可能存在抑郁情绪或者自杀倾向的人员标记，进行观察。本发明考虑到静态身体运动和动态身体运动，达到了更高的效率。本发明利用Kinect用于数据采集，非入侵，高性能，易操作。

技术领域

本发明属于情感识别领域，特别涉及一种融合肢体语言、微表情和语言的抑郁和自杀倾向识别方法。

背景技术

生活节奏的加快，社会环境的变迁让很多人觉得压力很大，产生抑郁心理，甚至于产生自残或者是自杀行为。为了尽早地发现人们的情绪问题，防止产生抑郁心理或者自杀意图，检测他们的情绪是很有用的。人类的情绪可以通过多种方式识别，如心电图(ECG)、脑电图(EEG)(K.Takahashi,Remarks on emotion recognition from multi-modal bio-potential signals,Proc.IEEE Int.Conf.Ind.Technol.(ICIT),vol.3,pp.1138-1143,Jun.2004.)、言语、面部表情等。在各种情绪信号中，生理信号被广泛应用于情绪识别。近年来，人体运动也成为一种新的特征。

传统的方法有两种，一种是通过接触测量物体的生理指标(J.Kim,and E.André,“Emotion recognition based on physiological changes in music listening,”IEEETransactions on Pattern AnalysisMachine Intelligence,vol.30,no.12,pp.2067-2083,2008.)，另一种是用非接触的方法观察物体的生理特性。事实上，虽然非侵入性的方法更好，但对象可以掩饰他们的情绪。从技术上讲，音频和视频(F.Xu,J.Zhang andJ.Z.Wang,“Microexpression Identification and Categorization Using a FacialDynamics Map,”IEEE Transactions on Affective Computing,vol.8,issue 2,pp.1-1,2017.)很容易获得，但容易受到噪声的影响。从原理而言，单一检测静态姿势或者单一检测动态动作(H.Wallbott,“Bodily Expressions of Emotion,”European J.SocialPsychology,vol.28,pp.879-896,1998.M.Coulson,“Attributing Emotion to StaticBody Postures:Recognition Accuracy,Confusions,and Viewpoint Dependence,”J.Nonverbal Behavior,vol.28,no.2,pp.117-139,2004.J.Burgoon,L.Guerrero,andK.Floyd,Nonverbal Communication.Allyn and Bacon,2010.)来识别情感的计算复杂度更低，但也会导致较低的识别准确度。因此，将这些特性进行融合是很有必要的。通过多模态特征的融合，可以更好的识别被检测人员的情感类别。

发明内容