[发明专利]基于DCNN‑DNN和PV‑SVM的多模态抑郁症估计和分类方法

摘要

本发明涉及一种基于DCNN‑DNN和PV‑SVM的多模态抑郁症估计和分类方法，利用位移范围直方图和Opensmile工具对音视频特征进行预处理，利用深度卷积神经网络提取中音、视频统计特征的隐层抽象特征，利用深度神经网络DNN进行抑郁症估计，利用段向量PV方法进行文本信息的高维特征映射，将得到的高维特征表示输入SVM中进行二分类，将抑郁症估计与二分类结果串接后输入随机森林Random Forests模型进行训练，用训练好的随机森林Random Forests模型实现最终抑郁症的分类任务，即抑郁或非抑郁。由于采用DCNN模型对初级音视频提取了隐层抽象特征，这样使原来高维特征变得更加紧凑，包含的信息更加丰富，从而使模型更加有效，避免了由于特征维度过高导致的过拟合现象。

主权项

一种基于DCNN‑DNN和PV‑SVM的多模态抑郁症估计和分类方法，其特征在于步骤如下：步骤1：利用位移范围直方图和Opensmile工具对音视频特征进行预处理：将视频Landmarks特征输入位移范围直方图统计方法中，得到视频Landmarks特征的全局特征；将音频LLD特征输入Opensmile工具提取音频全局统计信息；所述的位移范围直方图统计方法步骤如下：首先定义时间间隔M:＝{M1,M2,M3,...,Mx}，范围R:＝{R1,R2,R3,...,Rz}，视频Landmarks特征作为位移范围直方图统计方法的输入，x和z分别代表时间间隔和范围的个数；然后，对于每一个时间间隔Mx，计算Landmarks特征每一个维度中，第i+Mx帧与第i帧之间的差值，得到差值矩阵；最后，统计差值矩阵中每个维度在每个范围Rz中的分布个数；将得到的分布个数除以原始Landmarks特征的总帧数，得到归一化后的视频Landmarks全局特征；步骤2：利用深度卷积神经网络提取步骤1中音、视频统计特征的隐层抽象特征：Cxj=Σi=1n(fx,i×Inputij)+bxj---(1)]]>Sx+1k=F(H(Cx)×wx+1k+bx+1k)---(2)]]>式(1)中，代表输入的音、视频特征，fx,i代表卷积模板，n代表卷积模板中元素个数，代表卷积后的抽象特征，表示为对得到的抽象特征进行pooling；式(2)中，H(·)函数代表一种函数变换，F(·)函数代表ReLU激活函数，如公式(3)所示，代表权重信息；(1)式和(2)式中和分别为偏置，j和k代表位置块信息；σ(z)＝max(0,z)  (3)以患者真实的PHQ‑8得分为DCNN模型的监督信息，通过重复(1)式和(2)式过程，进行DCNN模型的训练；将音频和视频特征输入训练好的DCNN模型中进行一次前向过程，并将倒数第二层隐层数据取出，作为初级音频视频特征的隐层抽象特征；步骤3：利用深度神经网络DNN进行抑郁症估计：将步骤2中得到音频、视频的隐层抽象特征作为DNN网络的输入，以标准PHQ‑8得分为监督信息，进行单模态DNN模型的训练，用训练好的单模态DNN模型进行新样本的PHQ‑8得分估计，从而得到音频和视频的单模态抑郁症PHQ‑8得分估计，然后采用决策融合的方法将音频和视频的单模态PHQ‑8得分输入另一个DNN模型中，再次以标准PHQ‑8得分为监督信息，进行多模态DNN模型的训练，最终利用这个多模态DNN模型进行新样本的PHQ‑8得分估计；其中单模态和多模态中的两个DNN网络中每层的激活函数都采用ReLU函数；步骤4：利用段向量PV方法进行文本信息的高维特征映射：段向量框架共包含两个步骤：训练字典中的词向量W以及段向量D；在第一个阶段中，从日常交流用语中提取词序列w1,w2,w3,...,wn以及段落序列p1,p2,p3,...,pm，n和m分别表示字典中词的个数和段落的个数；每个单词被表示为一个向量每个段落被表示为得到段落向量模型的目标是最大化式(4)的似然概率：1nΣt=kn-klogp(wt|wt-k,...,wt+k)---(4)]]>其中，k是1到n中的某个数，概率p通过一个softmax函数得到：p(wt|wt-k,...,wt+k)=eywtΣieyi---(5)]]>上式中yi是关于W和D的函数，计算方法如下：y＝b+Uh(wt‑k,...,wt+k；W,D)  (6)其中，U和b是softmax参数；在第二阶段，将W,U,b固定，在D中加入反映患者生活状态的文本的id信息，同时使用梯度下降法进行这些新加入的文本的推理过程；最终得到段落向量D'，即反映患者生活状态的文本的高维特征表示；步骤5：将步骤4中得到的高维特征表示输入SVM中进行SVM训练，用训练好的SVM模型进行二分类：更趋向抑郁症的特征表现将被划分为1，否则将被划为0类；步骤6：将步骤3中得到的多模态PHQ‑8得分与步骤5中得到的0、1分类结果串接后输入随机森林Random Forests模型进行训练，用训练好的随机森林Random Forests模型实现最终抑郁症的分类任务，即抑郁或非抑郁。