[发明专利]基于梅尔谱图分解和神经网络融合进行疲劳度检测的方法

说明书

本发明公开了一种基于梅尔谱图分解和神经网络融合进行疲劳度检测的方法，其包括以下步骤：1)从语音疲劳数据库中获取已分类的语音数据，进行预处理得到梅尔谱图；2)通过图像处理方法对数据进行增广；3)将每张梅尔谱图以频率维度进行分解得到低频、中频、高频三个频梅尔谱图；4)构建并训练三个疲劳度检测神经网络子模型；5)将三个疲劳度检测神经网络子模型中最后一个卷积层输出的特征图组，以频率为维度重新拼接为全频段特征图，构建并训练疲劳度检测神经网络融合模型；6)获取新的语音数据，输出相应疲劳度分类。本发明扩充梅尔谱图数据并对神经网络进行改进，可应对不同时长语音数据，有效对语音疲劳状态进行检测。

技术领域

本发明涉及语音信号处理技术和疲劳检测技术领域，具体是基于梅尔谱图分解和神经网络融合进行疲劳度检测的方法。

背景技术

语音作为人类交流最重要的载体之一，不仅承载着语义内容而且还包含丰富的疲劳信息。语音疲劳检测综合人体工学、信号处理、计算机技术等多学科，在人机交互的发展中起着极其重要的作用。语音疲劳检测技术有助于防范疲劳带来的风险，为智能汽车、智能轨道交通等领域的安全性保障提供技术支撑。

根据语音识别与疲劳检测的相关研究进展，适用于疲劳检测任务的语音特征可被分为以下几类：韵律特征、声音质量特征和谱相关特征，其中，韵律特征包括过零率、对数能量、基频等，声音质量特征包括共振峰频率及其带宽、声门参数等，谱相关特征包括线性谱特征、倒谱特征、线性预测系数等。传统的语音疲劳检测方法往往方法使用人工选取的低层特征以语音帧为单位进行提取，输入用于分类和识别的浅层机器学习模型。然而目前业界对这些特征集是否能有效地描述语音的疲劳信息还存在一定的争议，并且韵律特征、音质特征和谱特征要么属于语音的时域特征，要么属于频域特征，缺少语音信号随时间变化的特性，即融合时频两域相关性的特征。

深度神经网络凭借其强大的建模能力，可有效地捕获隐藏于数据内部的特征，对数据自动地逐级提取特征，从而减少了手工设计特征造成的不完备性。梅尔谱图是一种特殊的语谱图，它既像普通语谱图那样具有空间邻域相关性与时序性，且对语音疲劳信息较为敏感的低频区域占比较大。

因此本发明使用语音的梅尔语谱图，进行数据增广后，使用深度神经网络提取特征并输入至空间金字塔池化层中，展开为具有固定步长的一维特征，然后输入到分类器中输出疲劳状态，完成语音疲劳检测任务。这种方法可以提取出更为完整有效的特征，进一步提高了语音疲劳检测的效果。

发明内容

本发明的目的是针对现有技术的不足，提供基于梅尔谱图分解和神经网络融合进行疲劳度检测的方法。这种方法可以提取语音时频两域的疲劳特征，提高识别准确率，还具有更强的鲁棒性与适用性，网络训练速度也更快。

实现本发明目的的技术方案是一种基于梅尔谱图分解和神经网络融合进行疲劳度检测的方法，其包括如下步骤：

S1：获取语音疲劳数据，进行预处理并获得梅尔谱图；

S11：从数据库中获取已经进行疲劳度分类的语音疲劳数据，疲劳度分类包括3种状态：清醒状态、中度疲劳状态、重度疲劳状态；

S12：对每条语音疲劳数据进行预加重；

S13：对预加重语音疲劳数据进行分帧；

S14：对分帧语音疲劳数据采用汉明窗进行加窗处理；

S15：得到语音疲劳数据的梅尔谱图；

S2：通过图像处理方法将数据进行增广；

对步骤S1中的每张梅尔谱图进行数据增强操作来扩充梅尔谱图的数据集，对每张梅尔谱图都进行以下四种操作进行数据增强：时间平移、频率遮蔽、时间遮蔽和时频遮蔽，使得每张梅尔谱图都被扩充为5张梅尔谱图；

S3：将每张梅尔谱图以频率维度进行分解，得到梅尔谱图的低频梅尔谱图、中频梅尔谱图、高频梅尔谱图；