[发明专利]基于梅尔谱图分解和神经网络融合进行疲劳度检测的方法

权利要求书

1.本发明提供一种基于梅尔谱图分解和神经网络融合进行疲劳度检测的方法，其特征在于：其包括如下步骤：

S1：获取语音疲劳数据，进行预处理并获得梅尔谱图；

S11：从数据库中获取已经进行疲劳度分类的语音疲劳数据，疲劳度分类包括3种状态：清醒状态、中度疲劳状态、重度疲劳状态；

S12：对每条语音疲劳数据进行预加重；

S13：对预加重语音疲劳数据进行分帧；

S14：对分帧语音疲劳数据采用汉明窗进行加窗处理；

S15：得到语音疲劳数据的梅尔谱图；

S2：通过图像处理方法将数据进行增广；

对步骤S1中的每张梅尔谱图进行数据增强操作来扩充梅尔谱图的数据集，对每张梅尔谱图都进行以下四种操作进行数据增强：时间平移、频率遮蔽、时间遮蔽和时频遮蔽，使得每张梅尔谱图都被扩充为5张梅尔谱图；

S3：将每张梅尔谱图以频率维度进行分解，得到梅尔谱图的低频梅尔谱图、中频梅尔谱图、高频梅尔谱图；

S4：将步骤S3中得到的低频梅尔谱图、中频梅尔谱图、高频梅尔谱图作为输入，分别构建并训练三个疲劳度检测神经网络子模型，三个疲劳度检测神经网络子模型结构相同；

S41：构建疲劳度检测神经网络子模型，具体结构如下：

(1)疲劳度检测神经网络子模型具体连接结构为：由C1、C2、P1、C3、C4、P2、C5、C6、C7、P3、C8、C9、C10、P4、C11、C12、C13、SPP1、FC1、FC2、SF1依次堆叠构成，其中数字表示模块序号，字母表示模块类型，具体为：C表示轻量卷积块，P表示池化层，SPP表示空间金字塔池化层,FC表示全连接层，SF表示Softmax层；

(2)轻量卷积块中包含有常规卷积和轻量卷积；

对有P个卷积核的轻量卷积，只随机使用P/2个卷积核进行常规卷积计算，得到P/2个本征特征图，P为正偶数，再使用轻量卷积对逐个本征特征图进行卷积，获得P/2个轻量化特征图，然后将本征特征图与轻量化特征图组合到一起作为轻量卷积块的输出；

(3)使用空间金字塔池化层进行维度转换，将特征维度统一；

S42：训练基于卷积神经网络的疲劳度检测神经网络子模型，得到训练完成的三个疲劳度检测神经网络子模型，根据输入分别为低频梅尔谱图、中频梅尔谱图、高频梅尔谱图，将三个疲劳度检测神经网络子模型相应称为低频疲劳度检测神经网络子模型、中频疲劳度检测神经网络子模型、高频疲劳度检测神经网络子模型；

S5：将三个疲劳度检测神经网络子模型中最后一个卷积层输出的特征图组，以频率为维度重新拼接为全频段特征图，并以该全频域特征图组作为输入，构建并训练疲劳度检测神经网络融合模型；

S51：构建疲劳度检测神经网络融合模型；

疲劳度检测神经网络融合模型具体连接结构：由C14、SPP2、FC3、FC4、SF2依次堆叠构成，其中数字表示模块序号，字母表示模块类型，具体为：C表示轻量卷积块，SPP表示空间金字塔池化层，FC表示全连接层，SF表示Softmax层；卷积层配置、激活函数设置与疲劳度检测神经网络子模型一致；

S52：训练疲劳度检测神经网络融合模型，得到训练完成的疲劳度检测神经网络融合模型；

S6：获取语音数据，使用步骤S12-S15中的步骤对语音数据进行预处理并获得梅尔谱图；使用步骤S3对梅尔谱图进行频域分解；将数据输入到步骤S4中训练好的子模型中；提取三个子模型最后一个卷积层输出的特征图，拼接为全频段特征图，输入到步骤S5中训练好的疲劳度检测神经网络融合模型中；输出语音数据的疲劳度分类。