[发明专利]语音端点检测方法、装置、可读存储介质及电子设备

说明书

本公开实施例公开了一种语音端点检测方法和装置，其中，该方法包括：获取针对目标对象采集的音频信息和视频信息，其中，音频信息中的音频帧和视频信息中的图像帧一一对应；提取音频信息包括的音频帧的特征，得到音频特征序列，以及提取视频信息包括的图像帧的特征，得到图像特征序列；将音频特征序列和图像特征序列合并，得到合并特征序列；基于合并特征序列，确定合并特征序列中的每个合并特征对应的语音状态概率；基于语音状态概率，确定音频信息中的语音信号段的端点。本公开实施例实现了将音频特征和图像特征相结合进行语音状态检测，提高了在高噪声的复杂场景下的语音端点检测的精确性。

技术领域

本公开涉及计算机技术领域，尤其是一种语音端点检测方法、装置、计算机可读存储介质及电子设备。

背景技术

随着人机信息交互技术的发展，语音识别技术显示出其重要性。在语音识别系统中，语音端点检测是语音识别中的关键技术之一。语音端点检测是指在连续声音信号中找出语音部分的起始点和终止点。端点检测准确与否，会直接影响到语音识别系统的性能。

目前的语音端点检测方法主要包括基于信号处理的方案和纯语音的识别方案。基于信号处理的方案通过基于短时能量或过零率的方法，通过指定的或自适应的阈值判断音频是否为静音状态。进而使用一定的策略得到语音的端点。纯语音的识别方案通过语音信号的降噪，特征提取，激活状态分类，后处理等步骤进行语音端点检测。

发明内容

本公开的实施例提供了一种语音端点检测方法、装置、计算机可读存储介质及电子设备。

本公开的实施例提供了一种语音端点检测方法，该方法包括：获取针对目标对象采集的音频信息和视频信息，其中，音频信息中的音频帧和视频信息中的图像帧一一对应；提取音频信息包括的音频帧的特征，得到音频特征序列，以及提取视频信息包括的图像帧的特征，得到图像特征序列；将音频特征序列和图像特征序列合并，得到合并特征序列；基于合并特征序列，确定合并特征序列中的每个合并特征对应的语音状态概率；基于语音状态概率，确定音频信息中的语音信号段的端点。

根据本公开实施例的另一个方面，提供了一种语音端点检测装置，该装置包括：获取模块，用于获取针对目标对象采集的音频信息和视频信息，其中，音频信息中的音频帧和视频信息中的图像帧一一对应；提取模块，用于提取音频信息包括的音频帧的特征，得到音频特征序列，以及提取视频信息包括的图像帧的特征，得到图像特征序列；合并模块，用于将音频特征序列和图像特征序列合并，得到合并特征序列；第一确定模块，用于基于合并特征序列，确定合并特征序列中的每个合并特征对应的语音状态概率；第二确定模块，用于基于语音状态概率，确定音频信息中的语音信号段的端点。

根据本公开实施例的另一个方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序用于执行上述语音端点检测方法。

根据本公开实施例的另一个方面，提供了一种电子设备，电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于从存储器中读取可执行指令，并执行指令以实现上述语音端点检测方法。

基于本公开上述实施例提供的语音端点检测方法、装置、计算机可读存储介质及电子设备，通过对提取音频信息包括的音频帧的特征和视频信息包括的图像帧的特征，将音频帧的特征和图像帧的特征合并，确定得到的合并特征序列中的每个合并特征对应的语音状态概率，最后基于语音状态概率，确定语音信号段的端点，从而实现了将音频特征和图像特征相结合进行语音状态检测，在检测时可以将图像特征作为参考，同时由于结合的特征不仅可以表征对音频的特征，还可以表征对图像的特征，使检测所用到的特征的内容更加丰富，因此大大提高了在高噪声的复杂场景下的语音端点检测的精确性。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明