[发明专利]基于音视频融合的婴儿哭泣检测方法及装置

权利要求书

1.基于音视频融合的婴儿哭泣检测方法，其特征在于，包括以下步骤：

获取待检测的音视频文件，将所述音视频文件进行拆分，得到音频数据和视频数据；

提取所述音频数据的梅尔频谱图，使用ResNet神经网络提取所述梅尔频谱图的抽象特征，得到语音特征；

提取所述视频数据中连续帧的灰度图像，使用3DCNN网络提取所述灰度图像的抽象特征，得到视觉特征；

融合所述语音特征和所述视觉特征，得到混合特征；

将所述混合特征输入训练好的ResNet残差网络，得到哭泣检测结果。

2.根据权利要求1所述的基于音视频融合的婴儿哭泣检测方法，其特征在于，融合所述语音特征和所述视觉特征，得到混合特征，包括：

采用以下公式融合所述语音特征和所述视觉特征，得到混合特征：

其中，x代表语音特征，y代表视觉特征，Z代表混合特征。

3.根据权利要求1所述的基于音视频融合的婴儿哭泣检测方法，其特征在于，使用ResNet神经网络提取所述梅尔频谱图的抽象特征，得到语音特征，包括：

将提取的所述梅尔频谱图转换成220*13维度，输入到ResNet神经网络中，使得所述ResNet神经网络通过卷积池化操作对所述梅尔频谱图进行抽象高维度特征提取；

截取ResNet神经网络的最后一层1024*1维度的数据，得到所述语音特征。

4.根据权利要求1所述的基于音视频融合的婴儿哭泣检测方法，其特征在于，提取所述音频数据的梅尔频谱图之前，还包括：

对所述语音数据进行采样、归一化、预加重和窗口化操作的预处理，得到预处理后的波形图。

5.根据权利要求1所述的基于音视频融合的婴儿哭泣检测方法，其特征在于，将所述混合特征输入训练好的ResNet残差网络，得到哭泣检测结果，包括：

将所述混合特征输入训练好的ResNet残差网络；

所述ResNet残差网络对所述混合特征进行卷积和池化操作，得到为哭泣的概率和不为哭泣的概率；

根据所述为哭泣的概率和所述不为哭泣的概率，得到哭泣检测结果。

6.根据权利要求5所述的基于音视频融合的婴儿哭泣检测方法，其特征在于，所述ResNet神经网络的训练过程包括：

获取音视频数据集，所述音视频数据集包括多个音视频文件样本，每个所述样本包括音频样本和视频样本；

设置每个所述样本对应的任务标签，其中，所述任务标签包括：语音哭泣标签、视觉哭泣标签、一致性标签和音视频哭泣标签；

将所述设置有任务标签的音视频数据集输入ResNet残差网络进行训练，得到训练好的ResNet残差网络。

7.根据权利要求1所述的基于音视频融合的婴儿哭泣检测方法，其特征在于，将所述音视频文件进行拆分之前，还包括：

对所述音视频文件进行数据归一化处理。

8.基于音视频融合的婴儿哭泣检测装置，其特征在于，包括：

音视频文件拆分模块，用于获取待检测的音视频文件，将所述音视频文件进行拆分，得到音频数据和视频数据；

语音特征提取模块，用于提取所述音频数据的梅尔频谱图，使用ResNet神经网络提取所述梅尔频谱图的抽象特征，得到语音特征；

视觉特征提取模块，用于提取所述视频数据中连续帧的灰度图像，使用3DCNN网络提取所述灰度图像的抽象特征，得到视觉特征；

特征融合模块，用于融合所述语音特征和所述视觉特征，得到混合特征；

哭泣检测模块，用于将所述混合特征输入训练好的ResNet残差网络，得到哭泣检测结果。

9.一种智能设备，其特征在于，包括：

至少一个存储器以及至少一个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7任一所述的基于音视频融合的婴儿哭泣检测方法的步骤。

10.一种计算机可读存储介质，其特征在于：

所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一所述的基于音视频融合的婴儿哭泣检测方法的步骤。