[发明专利]声纹数据生成方法、装置、计算机装置及存储介质

权利要求书

1.一种声纹数据生成方法，其特征在于，所述方法包括：

获取音视频数据；

对所述音视频数据中的原始图像序列逐帧进行人脸检测，得到多个人脸图像和所述多个人脸图像的人脸框；

根据所述多个人脸图像和所述人脸框从所述原始图像序列中获取多个人脸图像子序列，每个人脸图像子序列包含同一用户的多个人脸图像；

检测每个人脸图像子序列中的每个人脸图像是否张嘴；

根据每个人脸图像子序列的张嘴检测结果筛选出目标人脸图像子序列；

对每个目标人脸图像子序列提取人脸特征；

根据每个目标人脸图像子序列的人脸特征对所述目标人脸图像子序列进行聚类，得到每个目标人脸图像子序列所属的目标用户；

从所述音视频数据的音频流中截取每个目标用户的目标图像子序列对应的音频段，得到每个目标用户的声纹数据。

2.如权利要求1所述的方法，其特征在于，所述对所述音视频数据中的原始图像序列逐帧进行人脸检测包括：

使用多任务级联卷积网络模型对所述音视频数据中的原始图像序列逐帧进行人脸检测。

3.如权利要求1所述的方法，其特征在于，所述根据所述多个人脸图像和所述人脸框从所述原始图像序列中获取多个人脸图像子序列包括：

以所述原始图像序列中的一个原始图像作为起始点，逐一选取当前原始图像和下一原始图像，得到相邻两个原始图像；

判断所述相邻两个原始图像的人脸框是否满足预设条件；

若所述相邻两个原始图像是人脸图像，并且所述相邻两个原始图像的人脸框满足预设条件，则确定所述相邻两个原始图像对应同一用户，所述相邻两个原始图像属于同一人脸图像子序列；

否则，若所述相邻两个原始图像至少一个不是人脸图像，或者所述相邻两个原始图像的人脸框不满足预设条件，则确定所述相邻两个原始图像不对应同一用户，所述相邻两个原始图像不属于同一人脸图像子序列。

4.如权利要求3所述的方法，其特征在于，所述判断所述相邻两个原始图像的人脸框是否满足预设条件包括：

判断所述相邻两个原始图像的人脸框的重叠面积比例是否大于或等于预设比例；

或者，判断所述相邻两个人脸图像的人脸框的距离是否小于或等于预设距离。

5.如权利要求1所述的方法，其特征在于，所述检测每个人脸图像子序列中的每个人脸图像是否张嘴包括：

使用Adaboost算法检测每个人脸图像子序列中的每个人脸图像是否张嘴。

6.如权利要求1所述的方法，其特征在于，所述根据每个人脸图像子序列的张嘴检测结果筛选出目标人脸图像子序列包括：

判断每个人脸图像子序列中闭嘴的人脸图像在该人脸图像子序列中的占比；

若该人脸图像子序列中闭嘴的人脸图像在该人脸图像子序列中的占比小于或等于预设比例，则该人脸图像子序列为目标人脸图像子序列。

7.如权利要求1-6中任一项所述的方法，其特征在于，所述对每个目标人脸图像子序列提取人脸特征包括：

使用点分布模型对每个目标人脸图像子序列提取人脸特征。