[发明专利]融合肢体语言、微表情和语言的抑郁和自杀倾向识别方法

权利要求书

1.融合肢体语言、微表情和语言的抑郁和自杀倾向识别方法，其特征在于，包括以下步骤：

S1、用带有红外摄像头的Kinect来收集视频和音频，并将视频信息和音频信息分别转换为特征文本描述；

S2、将步骤S1中生成的特征文本描述进行信息融合，利用自组织映射(SOM)和补偿层对处理结果进行情感分类；

S3、将步骤S2中得到的可能存在抑郁情绪或者自杀倾向的人员标记，进行观察。

2.根据权利要求1所述的融合肢体语言、微表情和语言的抑郁和自杀倾向识别方法，其特征在于，步骤S1中，所述视频信息包括从视频中提取的肢体动作和面部表情信息，肢体动作包括静态运动和动态运动；所述音频信息包括从语音音频中提取的频谱、韵律和声波信息，频谱信息和韵律信息用于获取语音标志，声波信息用于获取语音内容。

3.根据权利要求2所述的融合肢体语言、微表情和语言的抑郁和自杀倾向识别方法，其特征在于，步骤S1中，特征文本描述的提取具体包括以下步骤：

S1.1、采用卷积神经网络(CNN)完成静态运动的识别，生成静态运动特征文本描述；

S1.2、利用Kinect实时检测人体骨骼数据，计算人体的行为特征，完成动态运动的识别，生成动态运动特征文本描述；

S1.3、使用局部识别的方法完成面部表情的信息识别，生成面部活动特征文本描述；

S1.4、完成语音标志的识别和语音内容的识别，生成语言特征文本描述。

4.根据权利要求3所述的融合肢体语言、微表情和语言的抑郁和自杀倾向识别方法，其特征在于，步骤S1.1中，从收集的视频中选出单帧输入到卷积神经网络(CNN)进行训练和测试；将视频中的所有单独帧输入至训练完成后的卷积神经网络(CNN)，得到带有情感特征的静态运动，将带有情感特征的静态运动输入至Softmax分类器中进行分类，完成静态运动的识别；softmax函数，计算公式如下：

其中，W_i为第i类特征文本的权重矩阵，b代表偏置。

5.根据权利要求4所述的融合肢体语言、微表情和语言的抑郁和自杀倾向识别方法，其特征在于，卷积神经网络(CNN)利用部分滤波器计算卷积，即利用输入项的局部子矩阵和局部滤波器进行内积运算，输出为卷积矩阵；卷积神经网络(CNN)中的隐含层包括两个卷积层和两个池化层；

卷积层的计算公式如下：

其中，l表示第l个卷积层，i表示卷积输出矩阵第i个分量的值；j表示对应输出矩阵的个数；j的值在0到N之间变化，其中N表示卷积输出矩阵的数量；f是一个非线性的sigmoid型函数；

池化层使用均值池化，均值池化层的输入来自于上卷积层，输出作为下一个卷积层的输入，计算公式如下：

其中，代表池化过程结束后的局部输出，由上一层大小为n×n的局部小矩阵的均值导出。