[发明专利]基于音视频融合的婴儿哭泣检测方法及装置

说明书

本发明涉及基于音视频融合的婴儿哭泣检测方法及装置。本发明所述的基于音视频融合的婴儿哭泣检测方法包括：获取待检测的音视频文件，将所述音视频文件进行拆分，得到音频数据和视频数据；提取所述音频数据的梅尔频谱图，使用ResNet神经网络提取所述梅尔频谱图的抽象特征，得到语音特征；提取所述视频数据中连续帧的灰度图像，使用3DCNN网络提取所述灰度图像的抽象特征，得到视觉特征；融合所述语音特征和所述视觉特征，得到混合特征；将所述混合特征输入训练好的ResNet残差网络，得到哭泣检测结果。本发明所述的基于音视频融合的婴儿哭泣检测方法及装置，将语音和视觉信息结合起来进行婴儿哭声的自动识别，提高了婴儿哭声检测的准确度。

技术领域

本发明涉及计算机图像语音处理领域，特别是涉及一种基于音视频融合的婴儿哭泣检测 方法及装置。

背景技术

哭声的自动检测在婴儿监测方面发挥着重要的作用。例如，婴儿哭泣检测能够减少父母 的护理时间和家庭负担。在医院，高精度的哭声检测减轻了医院员工的工作量，并有助于提 高哭声病理学诊断。

在以前的研究中，研究人员发现早期的婴儿声音具有相同的声音特征，但由于生活环境 的影响，这些特征会随着时间而消失。基于这一发现，很多人致力于婴儿哭声的音频特征分 析和检测算法的设计。大多数的婴儿哭声检测工作都使用频域的特征作为输入，如MFCC和 LFCC。这些特征在声音识别中是非常有效的。至于识别方法，卷积神经网络(CNN)和KNN 等机器学习算法占据了主流趋势。然而以前的哭声检测算法受限于数据，仅使用音频难以识 别复杂环境下婴儿哭声。现有的婴儿啼哭识别算法忽略了视觉方面的信息，导致识别精度不 高。

发明内容

基于此，本发明的目的在于，提供一种基于音视频融合的婴儿哭泣检测方法及装置，将 语音和视觉信息结合起来进行婴儿哭声的自动识别，提高了婴儿哭声检测的准确度。

第一方面，本发明提供基于音视频融合的婴儿哭泣检测方法，该方法包括以下步骤：

获取待检测的音视频文件，将所述音视频文件进行拆分，得到音频数据和视频数据；

提取所述音频数据的梅尔频谱图，使用ResNet神经网络提取所述梅尔频谱图的抽象特征， 得到语音特征；

提取所述视频数据中连续帧的灰度图像，使用3DCNN网络提取所述灰度图像的抽象特 征，得到视觉特征；

融合所述语音特征和所述视觉特征，得到混合特征；

将所述混合特征输入训练好的ResNet残差网络，得到哭泣检测结果。

进一步地，融合所述语音特征和所述视觉特征，得到混合特征，包括：

采用以下公式融合所述语音特征和所述视觉特征，得到混合特征：

其中，x代表语音特征，y代表视觉特征，Z代表混合特征。

进一步地，使用ResNet神经网络提取所述梅尔频谱图的抽象特征，得到语音特征，包括：

将提取的所述梅尔频谱图转换成220*13维度，输入到ResNet神经网络中，使得所述 ResNet神经网络通过卷积池化操作对所述梅尔频谱图进行抽象高维度特征提取；

截取ResNet神经网络的最后一层1024*1维度的数据，得到所述语音特征。

进一步地，提取所述音频数据的梅尔频谱图之前，还包括：

对所述语音数据进行采样、归一化、预加重和窗口化操作的预处理，得到预处理后的波 形图。

进一步地，将所述混合特征输入训练好的ResNet残差网络，得到哭泣检测结果，包括：

将所述混合特征输入训练好的ResNet残差网络；