[发明专利]一种基于音视频信息的多模态双相抑郁障碍自动检测方法

摘要

本发明公开了一种基于音频、视频的多模态双相情感障碍检测方法。此方法分为两步进行：音、视频单模态双相抑郁障碍检测和将音视频融合的多模态双相抑郁障碍检测。在单模态双相抑郁障碍检测阶段，采用音频和视频两种信息流分别对患者双相抑郁症的程度进行初步判断，之后在多模态检测阶段，将前面得到的音、视频的单模态检测结果相结合，进行最终的多模态双相抑郁症程度分类。这种方法在公开的双相抑郁症数据库上已经取得了很好的效果，且整个系统复杂度低，只需将采集到的患者音视频信息输入到训练好的模型中即可得到患者的双相抑郁症程度，是一种无创性检测方法，因此该方法具有可推广性。

主权项

1.一种基于音视频信息的多模态双相抑郁障碍自动检测方法，其特征在于步骤如下：步骤1：利用情感维度数据库Recola训练长短时记忆神经网络：提取Recola数据库的音频特征，将其结合数据库标注一同输入LSTM‑RNN模型中，进行该模型的训练；LSTM‑RNN属于一种时间序列模型，通过循环结构可将前一层的输出作为下一层的输入：式(1)中，h代表网络隐层向量，当n＝0时，代表输入的初级音视频特征，H代表LSTM‑RNN的网络函数，c为激活函数，b为网络每层偏置项；则通过多次循环，网络的最终输出为：其中，WhN表示隐层权重矩阵，式(1)和式(2)中的W和b可以通过网络进行学习得到，最终网络的输出yt就为情感维度中的Arousal数值；步骤2：利用Recola数据库中的音频数据将LSTM‑RNN训练好之后，再针对双相抑郁障碍患者提取相同的音频特征，将这些音频特征输入训练好的LSTM‑RNN中得到双相抑郁障碍患者的Arousal预测值；采用直方图方法对Arousal预测值进行统计从而得到Arousal全局统计特征；步骤3：提取音频Functional特征：使用开源工具包openSMILE提取6902维音频全局Functional特征；步骤4：提取音频语速、停顿次数特征：使用短时能量计算每帧音频数据的能量大小，通过该能量大小计算出患者讲话时的停顿次数，同时使用开源工具包Praat提取患者的音频语速特征；步骤5：提取视频中患者手部动作特征：使用Openpose工具包追踪患者手部关键点运动信息，求取帧级别左右双手关键点的欧氏距离：最后使用直方图进行全局统计，得到手部动作的直方图统计特征；步骤6：提取视频中患者身体姿态运动信息：使用Openpose工具包提取患者上半身关键点的运动信息，统计这些关键点在时间序列上的位移和速度信息：其中，np表示第np个关键点，t表示时间，k代表时间间隔，x_coo,y_coo分别代表两个坐标轴方向；Pnp,x_coo,t代表第np个关键点在t时刻x_coo方向上的坐标值，Snp(t)代表第np个关键点在t时刻的位移信息；在该步骤中取不同的时间间隔k＝{k1,k2,...,km,}，然后将不同时间间隔k下的Snp(t)使用直方图进行统计，最后将m个Snp(t)进行串接，得到患者的身体姿态运动信息；步骤7：提取视频中患者的面部运动单元特征：使用OpenFace开源工具提取帧级别的面部运动单元信息：Auction Units；最后使用直方图进行统计，得到全局统计信息；步骤8：将步骤3、4、6和7提取到的特征输入到深度神经网络DNN中，进行双相抑郁障碍程度的划分，得到单模态分类结果；对DNN网络的损失函数进行改进，使其包含两部分损失Loss：分类错误损失和估计错误损失；这两类损失分别由训练DNN模型时，标注与预测之间的欧式距离损失产生；最后将两类损失进行加权求和，反馈到网络中进行权重更新；最终将会训练得到四种DNN模型；步骤9：针对步骤2和步骤5中提取到的特征，采用统计方法得到各自的双相障碍的严重程度分类；步骤10：使用步骤8得到的四种单模态DNN模型提取隐层输出，即将这四种模型的最后一层隐层输出进行串接，输入随机森林Random Forest中得到多模态融合结果，再将该随机森林得到的分类结果与步骤9中得到的两种双相障碍的严重程度分类，进行投票，投票最多的双相抑郁障碍程度即为最终分类结果，所述的双相抑郁障碍程度包括恢复期、轻躁狂、重躁狂。