[发明专利]一种基于音视频信息的多模态双相抑郁障碍自动检测方法

说明书

本发明公开了一种基于音频、视频的多模态双相情感障碍检测方法。此方法分为两步进行：音、视频单模态双相抑郁障碍检测和将音视频融合的多模态双相抑郁障碍检测。在单模态双相抑郁障碍检测阶段，采用音频和视频两种信息流分别对患者双相抑郁症的程度进行初步判断，之后在多模态检测阶段，将前面得到的音、视频的单模态检测结果相结合，进行最终的多模态双相抑郁症程度分类。这种方法在公开的双相抑郁症数据库上已经取得了很好的效果，且整个系统复杂度低，只需将采集到的患者音视频信息输入到训练好的模型中即可得到患者的双相抑郁症程度，是一种无创性检测方法，因此该方法具有可推广性。

技术领域

本发明采用长短时记忆神经网络(LSTM-RNN)、深度神经网络(DNN)以及随机森林(Random Forest)模型，涉及一种从听觉、视觉信息中对双相抑郁症进行分类的方法。

背景技术

据统计，目前世界上约有3亿人患有抑郁症，每年导致大约80万人死亡，而到 2020年，抑郁症将成为首要的医疗和社会负担。目前临床上对抑郁症的筛查、诊断，以及治疗效果的评价，一般采用哈密尔顿抑郁评估量表(HAMD)和自报告问卷(如白氏抑郁症量表BDI)，判断的准确度一方面依赖于病人是否诚实回答了相关问题，另一方面严重依赖于医生的经验和主观判断。在当前抑郁症门诊量激增的情况下，医生问诊时间短，压力大，误诊率高。

作为一种全球性疾病，抑郁症是造成精神疾病主要因素之一，更严重者甚至可导致患者自杀。抑郁症属于情感性精神障碍，分为单相情感障碍(单相抑郁症)和双相情感障碍(双相抑郁症或者躁狂症)。单相情感障碍患者的主要表现为重复抑郁的状态，长期处于心境低落，沮丧等情绪状态；而双相情感障碍是躁狂(或轻躁狂)与抑郁间歇交替或循环发作的常见心境障碍。被诊断为双相障碍的大多数患者处于抑郁期的时间比处于躁狂期的时间要长，而且抑郁期患者比躁狂期患者更难治疗。因此正确的早期鉴别至关重要。但是目前临床上对这种抑郁障碍的鉴别主要靠主观判断，严重依赖于医生的临床经验，迫切需要无创性检查技术和客观指标进行精准的诊断和鉴别。

人工智能领域已经借助机器学习方法，从音频、视频出发建立了多种多样的抑郁症检测系统，来帮助心理学家和医护人员进行临床抑郁症的检测预防和治疗。在过去的几年中，通过音视频信息来进行抑郁症的检测已经取得了许多重要的成果。

目前，双相抑郁症患者的程度判定在医学界已经取得了一定的成果，然而由于抑郁症的复杂性以及个体的差异性，抑郁症的研究仍然面临以下挑战：

1)主观依赖性太强。目前临床上对抑郁症的筛查、诊断，以及治疗效果的评价，一般采用哈密尔顿抑郁评估量表(HAMD)和自报告问卷(如白氏抑郁症量表 BDI)，判断的准确度一方面依赖于病人是否诚实回答了相关问题，另一方面严重依赖于医生的经验和主观判断。在当前抑郁症门诊量激增的情况下，医生问诊时间短，压力大，误诊率高。

2)从机器学习和人工智能角度出发，目前学者们对抑郁症的研究相对独立，忽略了抑郁症作为一种特殊的情绪状态，可以将情绪方面的研究同抑郁症的研究结合起来。这种将情感模型用于抑郁症方面的工作目前几乎没有，导致大量有用的信息未被挖掘。

综上所述，现有的双相抑郁障碍的检测方法易受医生主观经验影响，缺少客观评判依据，而且抑郁症的研究相对独立，未与心理学中的情感研究结合起来，导致大量信息未被全面研究，容易造成抑郁症研究精确度低，抑郁症检测分类正确率低。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于音视频信息的多模态双相抑郁障碍自动检测方法。

技术方案

一种基于音视频信息的多模态双相抑郁障碍自动检测方法，其特征在于步骤如下：