[发明专利]声纹数据生成方法、装置、计算机装置及存储介质

说明书

本发明提供一种声纹数据生成方法、装置、计算机装置及存储介质。所述声纹数据生成方法包括：获取音视频数据；对音视频数据中的原始图像序列逐帧进行人脸检测，得到多个人脸图像及其人脸框；根据多个人脸图像及其人脸框从原始图像序列中获取多个人脸图像子序列；检测每个人脸图像子序列中的每个人脸图像是否张嘴；根据每个人脸图像子序列的张嘴检测结果筛选出目标人脸图像子序列；对每个目标人脸图像子序列提取人脸特征；对目标人脸图像子序列进行聚类，得到每个目标人脸图像子序列所属的目标用户；从音视频数据的音频流中截取每个目标用户的目标图像子序列对应的音频段，得到每个目标用户的声纹数据。本发明可以高效率、低成本地获得声纹数据。

技术领域

本发明涉及语音处理技术领域，具体涉及一种声纹数据生成方法、装置、计算机装置及存储介质。

背景技术

人类的语音中包含了丰富的信息，其中一种重要的信息是表征说话人身份的声纹信息。由于不同人具有相异的声腔和发声方式，任何两个人的声纹信息都不相同。声纹识别就是利用机器自动提取语音中的声纹信息并鉴别说话人身份的过程，其在安防、审核和教育等场景中发挥着重要作用。

目前主流的声纹识别方法是基于深度学习的声纹识别，通过大量的声纹样本对神经网络模型(即声纹识别模型)进行训练，使神经网络模型自动挖掘出说话人的声纹特征，根据声纹特征识别说话人身份。然而，不同于人脸数据，语音数据(如声纹数据)更具有隐私性也更难收集，并有口音、噪声、方言等多种可变因素，导致开源的声纹数据库在质量和数量上严重不足，不能得到足够的声纹样本，无法训练出高准确率的声纹识别模型。自行收集、标注声纹数据也需要投入大量的金钱和人力成本。声纹数据的不足很大程度上限制了声纹识别技术的发展和推广。

发明内容

鉴于以上内容，有必要提出一种声纹数据生成方法、装置、计算机装置及存储介质，其可以高效率、低成本地获得声纹数据。

本申请的第一方面提供一种声纹数据生成方法，所述方法包括：

获取音视频数据；

对所述音视频数据中的原始图像序列逐帧进行人脸检测，得到多个人脸图像和所述多个人脸图像的人脸框；

根据所述多个人脸图像和所述人脸框从所述原始图像序列中获取多个人脸图像子序列，每个人脸图像子序列包含同一用户的多个人脸图像；

检测每个人脸图像子序列中的每个人脸图像是否张嘴；

根据每个人脸图像子序列的张嘴检测结果筛选出目标人脸图像子序列；

对每个目标人脸图像子序列提取人脸特征；

根据每个目标人脸图像子序列的人脸特征对所述目标人脸图像子序列进行聚类，得到每个目标人脸图像子序列所属的目标用户；

从所述音视频数据的音频流中截取每个目标用户的目标图像子序列对应的音频段，得到每个目标用户的声纹数据。

另一种可能的实现方式中，所述对所述音视频数据中的原始图像序列逐帧进行人脸检测包括：

使用多任务级联卷积网络模型对所述音视频数据中的原始图像序列逐帧进行人脸检测。

另一种可能的实现方式中，所述根据所述多个人脸图像和所述人脸框从所述原始图像序列中获取多个人脸图像子序列包括：

以所述原始图像序列中的一个原始图像作为起始点，逐一选取当前原始图像和下一原始图像，得到相邻两个原始图像；

判断所述相邻两个原始图像的人脸框是否满足预设条件；

若所述相邻两个原始图像是人脸图像，并且所述相邻两个原始图像的人脸框满足预设条件，则确定所述相邻两个原始图像对应同一用户，所述相邻两个原始图像属于同一人脸图像子序列；