[发明专利]一种基于音视频的帕金森非接触式智能检测方法及系统

权利要求书

1.一种基于音视频的帕金森非接触式智能检测方法，其特征在于，包括：

获取帕金森患者和非帕金森患者的音视频数据集；

构建音频通道模型；

构建视频通道模型；

根据所述音视频数据集和所述音频通道模型，确定音频特征向量；

根据所述音视频数据集和所述视频通道模型，确定视频特征向量；

构建融合网络模型；

根据所述音频特征向量、所述视频特征向量和所述融合网络模型，得到标签向量；

根据所述标签向量，确定帕金森患者。

2.根据权利要求1所述的基于音视频的帕金森非接触式智能检测方法，其特征在于，所述构建音频通道模型，具体包括：

构建2D核卷积网络的音频通道模型，所述音频通道模型包括第一音频深度卷积阶段、第二音频深度卷积阶段和音频全连接阶段，所述第一音频深度卷积阶段包括第一音频卷积层、第二音频卷积层和第一音频池化层，所述第二音频深度卷积阶段包括第三音频卷积层、第四音频卷积层和第二音频池化层，所述音频全连接阶段包括音频输入层、音频隐藏层和音频输出层。

3.根据权利要求2所述的基于音视频的帕金森非接触式智能检测方法，其特征在于，所述根据所述音视频数据集和所述音频通道模型，确定音频特征向量，具体包括：

将所述第一音频卷积层、所述第二音频卷积层、所述第三音频卷积层和所述第四音频卷积层中卷积核的个数分别设置为32、32、64和64，卷积核的大小均设置为3×3，步长均设置为1，边界零填充均设置为1，对各卷积层的输出都进行归一化处理；

将所述第一音频池化层和所述第二音频池化层均采用最大池化的方式，池化区域核的大小均设置为2×2，步长均设置为2；

将所述第一音频深度卷积阶段和所述音频第二深度卷积阶段的输出特征矩阵扁平化处理为1维特征向量。

4.根据权利要求1所述的基于音视频的帕金森非接触式智能检测方法，其特征在于，所述构建视频通道模型，具体包括：

构建3D核卷积网络的视频通道模型，所述视频通道模型包括第一视频深度卷积阶段、第二视频深度卷积阶段和视频全连接阶段，所述第一视频深度卷积阶段包括第一视频卷积层、第二视频卷积层和第一视频池化层，所述第二视频深度卷积阶段包括第三视频卷积层、第四视频卷积层和第二视频池化层，所述视频全连接阶段包括视频输入层、视频隐藏层和视频输出层。

5.根据权利要求4所述的基于音视频的帕金森非接触式智能检测方法，其特征在于，所述根据所述音视频数据集和所述视频通道模型，确定视频特征向量，具体包括：

将所述第一视频卷积层、所述第二视频卷积层、所述第三视频卷积层和所述第四视频卷积层中卷积核的个数分别设置为32、32、64和64，卷积核的大小均设置为3×3×3，步长均设置为1，边界零填充均设置为1，对各卷积层的输出都进行归一化处理；

将所述第一视频池化层和所述第二视频池化层均采用最大池化的方式，池化区域核的大小均设置为2×2×3，步长均设置为2；

将所述第一视频深度卷积阶段和所述视频第二深度卷积阶段的输出特征矩阵扁平化处理为1维特征向量。

6.根据权利要求1所述的基于音视频的帕金森非接触式智能检测方法，其特征在于，所述构建融合网络模型，具体包括：

构建由特征融合阶段和全连接阶段组成的融合网络模型，所述融合全连接阶段包括输入层、第一隐藏层、第二隐藏层和输出层。

7.根据权利要求6所述的基于音视频的帕金森非接触式智能检测方法，其特征在于，所述根据所述根据所述音频特征向量、所述视频特征向量和所述融合网络模型，得到标签向量，具体包括：

将所述音频通道模型输出的1维音频特征向量和所述视频通道模型输出的1维视频拼接成1维融合特征向量；

将融合特征向量作为所述融合网络模型全连接阶段的输入向量，得到2维标签向量。

8.一种基于音视频的帕金森非接触式智能检测系统，其特征在于，包括：

数据集获取模块，用于获取帕金森患者和非帕金森患者的音视频数据集；

音频通道模型构建模块，用于构建音频通道模型；

视频通道模型构建模块，用于构建视频通道模型；

音频特征向量确定模块，用于根据所述音视频数据集和所述音频通道模型，确定音频特征向量；

视频特征向量确定模块，用于根据所述音视频数据集和所述视频通道模型，确定视频特征向量；

融合网络模型构建模块，用于构建融合网络模型；

标签向量确定模块，用于根据所述音频特征向量、所述视频特征向量和所述融合网络模型，得到标签向量；

帕金森患者确定模块，用于根据所述标签向量，确定帕金森患者。