[发明专利]一种基于音视频的帕金森非接触式智能检测方法及系统

说明书

本发明涉及一种基于音视频的帕金森非接触式智能检测方法及系统。该方法包括：获取帕金森患者和非帕金森患者的音视频数据集；构建音频通道模型；构建视频通道模型；根据所述音视频数据集和所述音频通道模型，确定音频特征向量；根据所述音视频数据集和所述视频通道模型，确定视频特征向量；构建融合网络模型；根据所述音频特征向量、所述视频特征向量和所述融合网络模型，得到标签向量；根据所述标签向量，确定帕金森患者。本发明能够将面部特征与声音特征综合分析，提高交互性以及检测效率。

技术领域

本发明涉及帕金森非接触式智能检测领域，特别是涉及一种基于音视频的帕金森非接触式智能检测方法及系统。

背景技术

随着人脸识别技术、自然语言处理技术的发展，基于视频进行病症诊断的医疗应用不断涌现。帕金森“面具脸”是指帕金森患者由于运动性障碍导致的面部表情减少症状，临床表现由轻到重依次表现为：正常、面部呆板、面部表情差、不自主张口、完全没有表情等。随着帕金森病的发展期不断推演，僵硬感将会越发明显地在面部肌肉运动时显现。言语障碍是指由运动-言语系统中的运动区的神经损伤造成的运动性语言障碍，在所有的帕金森患者中，大约有90％的患者会出现这种症状，其特征主要表现为声音强度的降低、倾向于升高和不变的音调、模糊不清的言语。“面具脸”和言语障碍均为临床判定是否患帕金森病的重要指标。

目前针对于帕金森症状检测的应用场景，大量的研究专注于“面具脸”特征对应的视频单通道或是“言语障碍”对应的音频单通道问题，基于预先设置好的动作指令，记录患者做出相应的表情模拟或发声练习过程，利用人脸关键点标定或者音频信号特征处理等技术对单通道特征进行分析判定。现有的工作具有以下普遍性局限：1)单通道模型。将面部特征与声音特征分割开来，忽略构音困难与面部肌肉运动性僵硬之间的内在联系。2)存在指令干扰。不论是视频通道还是音频通道，均要求受试者在规定时间内完成指定要求，交互性差。3)耗时长。由于播报指令--受试者反馈环节的设计，视频时长普遍在20s以上。

发明内容

本发明的目的是提供一种基于音视频的帕金森非接触式智能检测方法及系统，能够将面部特征与声音特征综合分析，提高交互性以及检测效率。

为实现上述目的，本发明提供了如下方案：

一种基于音视频的帕金森非接触式智能检测方法，包括：

获取帕金森患者和非帕金森患者的音视频数据集；

构建音频通道模型；

构建视频通道模型；

根据所述音视频数据集和所述音频通道模型，确定音频特征向量；

根据所述音视频数据集和所述视频通道模型，确定视频特征向量；

构建融合网络模型；

根据所述音频特征向量、所述视频特征向量和所述融合网络模型，得到标签向量；

根据所述标签向量，确定帕金森患者。

可选的，所述构建音频通道模型，具体包括：

构建2D核卷积网络的音频通道模型，所述音频通道模型包括第一音频深度卷积阶段、第二音频深度卷积阶段和音频全连接阶段，所述第一音频深度卷积阶段包括第一音频卷积层、第二音频卷积层和第一音频池化层，所述第二音频深度卷积阶段包括第三音频卷积层、第四音频卷积层和第二音频池化层，所述音频全连接阶段包括音频输入层、音频隐藏层和音频输出层。

可选的，所述根据所述音视频数据集和所述音频通道模型，确定音频特征向量，具体包括：

将所述第一音频卷积层、所述第二音频卷积层、所述第三音频卷积层和所述第四音频卷积层中卷积核的个数分别设置为32、32、64和64，卷积核的大小均设置为3×3，步长均设置为1，边界零填充均设置为1，对各卷积层的输出都进行归一化处理；