[发明专利]一种基于情景感知的多模态抑郁症检测系统

权利要求书

1.一种基于情景感知的多模态抑郁症检测系统，包括：

训练样本构建单元：用于构建训练样本集，所述训练样本集包括话题信息、语谱图和对应的文本信息；

声学特征提取单元：用于使用卷积神经网络，结合多任务学习，对所述训练样本集的语谱图进行声学特征提取，获得具备情景感知的声学特征，其中卷积神经网络的输出层包含两个任务，第一个任务是抑郁症的分类，第二个任务是不同话题的标签；

文本特征提取单元：用于利用所述训练样本集，使用Transformer模型对词嵌入进行处理，提取具备情景感知的文本特征；

分类子系统建立单元：用于对于所述情景感知的声学特征建立进行抑郁症检测的声学通道子系统，对于所述情景感知的文本特征建立进行抑郁症检测的文本通道子系统；

分类融合单元：用于对所述声学通道子系统和所述文本通道子系统的输出进行融合，获得抑郁症分类信息；

其中，所述分类融合单元用于执行以下步骤：

采用强化学习机制，调整所述声学通道子系统的权重和所述文本通道子系统的权重，使得最终抑郁症分类预测结果和反馈信息之间的差异最小化；

融合所述声学通道子系统和所述文本通道子系统的输出，获得抑郁症的分类打分。

2.根据权利要求1所述的系统，其特征在于，所述声学特征提取单元根据以下步骤获得所述情景感知的声学特征：

构建卷积神经网络，该卷积神经网络包括输入层、多个卷积层、多个全连接层、输出层、以及位于最后一层全连接层和输出层之间的瓶颈层，该瓶颈层相对于卷积层和全连接层具有较少的节点；

将所述训练样本集中的语谱图输入到卷积神经网络，输出层包含抑郁症分类任务和话题的标签任务；

从卷积神经网络的瓶颈层提取得到所述情景感知的声学特征。

3.根据权利要求1所述的系统，其特征在于，所述文本特征提取单元根据以下步骤提取所述情景感知的文本特征：

构建Transformer模型，以词嵌入加上话题标识作为Transformer模型的输入，该Transformer模型包括多个含有自注意力的编码器和解码器以及位于最后一层的softmax层；

利用已有的文本语料，使用无监督训练方法预训练Transformer模型参数，然后采用迁移学习，在采集得到的抑郁症文本数据进行自适应训练；

在训练完成之后，将softmax层去除，以Transformer模型的输出作为所述情景感知的文本特征。

4.根据权利要求1所述的系统，其特征在于，所述抑郁症的分类打分表示为：

其中，权重w_i＝[λ₁,λ₂,…,λ_c]，c为抑郁症的分类个数。

5.根据权利要求1所述的系统，其特征在于，所述声学通道子系统和所述文本通道子系统基于BLSTM网络建立，所述声学通道子系统的网络输入为连续多帧的感知线性预测系数和所述情景感知的声学特征，输出为抑郁症分类标签，所述文本通道子系统的网络输入是文本信息，输出为抑郁症分类标签。

6.根据权利要求1所述的系统，其特征在于，所述训练样本集中的话题信息包括基于医生与抑郁症患者交谈的内容所划分的多种类型标识。