[发明专利]一种基于对话交流的精神健康评测方法和系统

说明书

本发明公开一种基于对话交流的精神健康评测方法和系统。本发明采用一种机器学习方法，训练收集到的目标人和他人的日常对话视频，评测目标人的精神健康水平。本发明由以下四部分组成：数据收集模块、特征转化模块、评测分类模块以及评测模块。基于对话交流的精神健康评测方法，包括步骤一，通过影音终端获取目标人日常对话数据；步骤二，基于语音转文本技术获得对话本文，并对说话人的文本、音频和视频图像进行时间对齐和特征处理；步骤三，根据采集的对话数据训练多示例预测模型，计算每个示例包的精神健康状态标签，然后使用全局最大池层将多示例输出映射到目标人的标签；步骤四，基于对目标人的焦虑和抑郁等症状强度预测。

技术领域

本发明涉及计算机数据处理技术领域，具体涉及一种基于对话交流的精神健康评测方法和系统。

背景技术

患有精神类疾病的人数呈大幅上升趋势，狂躁症、焦虑症和抑郁症等给人们的工作、社交生活和生命带来严重损害，在最糟糕的情况下，精神类疾病会导致自杀。然而，精神类疾病的没有一个准确有效的诊断方法。一方面精神疾病因人而异，症状起伏不定难以制定诊断标准，另一方面由于社会耻辱和治疗成本的问题诊断行动难以开展。此外，世界范围内都存在着精神科临床医生短缺的情况。因此，精神类疾病的自动检测对于疾病的早期诊断具有重要意义。人们迫切需要一种既方便低廉又能在自然放松状态下被检测的方法。

在已有的解决方案中，许多研究论文研究抑郁症自动检测问题。它们可分为两类:单模态方法和多模态方法。单模态方法仅使用文本、音频、视频或图像中的一种模态数据作为模型输入进行自动抑郁检测，而多模态方法则结合了至少两种模态。对于单模态方法，首先要从原始数据中提取特征，然后根据不同的机器学习算法进行匹配。例如，当前普片认为与音频和文本信息相比，面部特征在解决精神状态检测上更有说服力。在现实中，抑郁症患者可能会说不同的语言，拥有非常不同的声音模式。然而，人们使用相似的面部表情来表达情感，这使得在不同人群中进行归纳更容易。已经有许多工作以视觉线索为重点尝试进行抑郁预测。此外，面部表情还被用于其他疾病的自动检测，如脑卒中。而多模态方法要从多个数据源头提前特征，然后将几种不同模态的数据通过各种方式融合在一起，然后再进行下一步计算。这些方法都采用对原始数据标注抑郁症标签，然后使用特征提取方法处理带有不同标签的原始数据，最后使用机器学习分类器进行预测。例如，使用高斯阶梯模型通过语音、面部和语义信息来检测抑郁是已有的一种判读抑郁症检测方法。这种方法的缺点是在帧级预测时没有考虑帧之间的长期相关性。使用音频和文本数据，还可以利用长短时记忆(LSTM)这一类方法建立帧间长期相关性模型的方法。此外，多模态方法还可以结合音频，视频和文本使用因果卷积网络(C-CNN)的时间序列作为输入。

发明内容

本发明针对上述现有技术存在的缺陷，提供了一种基于对话交流的精神健康评测方法和系统。

本发明是通过以下技术方案来实现的：

本发明公开了一种基于基于对话交流的精神健康评测方法和系统，包括以下步骤：

步骤一，从数据库中获取用户的音视频数据，对用户数据进行精神健康状况标注；

步骤二，将用户数据分离为音频、视频和文本三种信号源，根据以帧为单位的最小周期重新匹配三种信号源，以三种信号为一组，按照时间序列分段保存用户数据；

步骤三，为了更好的捕捉到包含抑郁症状态的实例，使用滑动和切片来生成具有较长时间周期的实例。在整个长时间的对话中，我们滑动固定大小的重叠窗口，取窗口内的信号组合为切片以形成实例；

步骤四，应用基于采样切片的长短时记忆法(LSTM)得到LSTM的递归隐状态。连接两个密集的层来将LSTM隐藏状态映射到单个实例输出；

步骤五，基于实例输出，使用全局最大池层将实例输出映射到袋标签，以获得最终预测结果，进行精神健康状况预测，展示对用户各项精神状况指标的判断结果。