[发明专利]语音端点检测方法、装置、可读存储介质及电子设备

权利要求书

1.一种语音端点检测方法，包括：

获取针对目标对象采集的音频信息和视频信息，其中，所述音频信息中的音频帧和所述视频信息中的图像帧一一对应；提取所述音频信息包括的音频帧的特征，得到音频特征序列，以及提取所述视频信息包括的图像帧的特征，得到图像特征序列；

将所述音频特征序列和所述图像特征序列合并，得到合并特征序列；

基于所述合并特征序列，确定所述合并特征序列中的每个合并特征对应的语音状态概率；

基于所述语音状态概率，确定所述音频信息中的语音信号段的端点。

2.根据权利要求1所述的方法，其中，所述基于所述语音状态概率，确定所述音频信息中的语音信号段的端点，包括：

基于所述语音状态概率，确定所述音频信息中的音频帧的语音状态信息；

基于所述语音状态信息，确定所述音频信息中的语音信号段的端点。

3.根据权利要求2所述的方法，其中，所述基于所述语音状态概率，确定所述音频信息中的音频帧的语音状态信息，包括：

基于所述图像特征序列，确定所述图像特征序列中的每个图像特征对应的唇动状态概率；

基于所述唇动状态概率，确定所述图像特征序列中的每个图像特征对应的唇动状态信息；

对于所述视频信息中的每个图像帧，基于该图像帧对应的唇动状态信息，确定该图像帧对应的语音状态阈值；

对于所述音频信息中的每个音频帧，基于该音频帧对应的语音状态概率和语音状态阈值，确定该音频帧的语音状态信息。

4.根据权利要求3所述的方法，其中，所述基于该音频帧对应的语音状态概率和语音状态阈值，确定该音频帧的语音状态信息，包括：

将该音频帧对应的语音状态概率和唇动状态概率进行融合，得到该音频帧对应的融合后概率；基于所述融合后概率和对应的语音状态阈值，确定该音频帧的语音状态信息；或者，

基于该音频帧对应的唇动状态信息，确定预先与所述唇动状态信息建立对应关系的预设参量；基于所述预设参量，对该音频帧对应的语音状态概率进行变换，得到变换后概率；基于所述变换后概率和对应的语音状态阈值，确定该音频帧的语音状态信息。

5.根据权利要求3所述的方法，其中，所述基于所述图像特征序列，确定所述图像特征序列中的每个图像特征对应的唇动状态概率，包括：

对于所述图像特征序列中的每个图像特征，确定该图像特征对应的预设长度的滑动窗口；

提取所述滑动窗口包括的图像特征；

基于预先训练的唇动状态预测模型，利用所述滑动窗口包括的图像特征，确定该图像特征对应的唇动状态概率。

6.根据权利要求1所述的方法，其中，所述提取所述视频信息包括的图像帧的特征，得到图像特征序列，包括：

从所述视频信息包括的图像帧中，确定所述目标对象的目标部位；

提取所述目标部位的特征，得到由所述目标部位的特征组成的图像特征序列。

7.根据权利要求1所述的方法，其中，所述基于所述合并特征序列，确定所述合并特征序列中的每个合并特征对应的语音状态概率，包括：

对于所述合并特征序列中的每个合并特征，确定该合并特征对应的预设长度的滑动窗口；

提取所述滑动窗口包括的合并特征；

基于预先训练的语音状态预测模型，利用所述滑动窗口包括的合并特征，确定该合并特征对应的语音状态概率。

8.一种语音端点检测装置，包括：

获取模块，用于获取针对目标对象采集的音频信息和视频信息，其中，所述音频信息中的音频帧和所述视频信息中的图像帧一一对应；

提取模块，用于提取所述音频信息包括的音频帧的特征，得到音频特征序列，以及提取所述视频信息包括的图像帧的特征，得到图像特征序列；

合并模块，用于将所述音频特征序列和所述图像特征序列合并，得到合并特征序列；

第一确定模块，用于基于所述合并特征序列，确定所述合并特征序列中的每个合并特征对应的语音状态概率；

第二确定模块，用于基于所述语音状态概率，确定所述音频信息中的语音信号段的端点。