[发明专利]一种视频中说话人定位的方法、装置及计算机存储介质

权利要求书

1.一种视频中说话人定位的方法，其特征在于，包括：

将获得的待检测视频分段，得到若干分段视频；

根据若干所述分段视频，获取若干分段音频；

对若干所述分段视频进行人脸检测，得到若干人脸区域集；所述人脸区域集包含若干张人脸以及所述若干张人脸的定位信息；

对若干所述人脸区域集进行分组，得到若干人脸检测结果组；

获取说话人人脸图像；

根据所述说话人人脸图像，从所述人脸检测结果组中确定目标人脸区域集；或者，对所述分段音频以及所述人脸区域集进行唇形同步检测，确定目标人脸区域集；

其中，所述目标人脸区域集包含所述说话人人脸图像。

2.根据权利要求1所述的视频中说话人定位的方法，其特征在于，所述将获得的待检测视频分段，得到若干分段视频，包括：

获取待检测视频中任意相邻两帧中前一帧的第一颜色直方图，并获取后一帧的第二颜色直方图；

获取所述第一颜色直方图和所述第二颜色直方图的差异；

当所述第一颜色直方图和所述第二颜色直方图的差异超过预设的第一阈值，将所述后一帧作为所述分段视频的第一帧，得到若干所述分段视频。

3.根据权利要求1所述的视频中说话人定位的方法，其特征在于，所述对若干所述分段视频进行人脸检测，包括：

根据多尺度滑动窗口对任意所述分段视频中的任意一帧进行检测，框选出若干检测结果；

对所述若干检测结果进行过滤处理，确定人脸区域集。

4.根据权利要求3所述的视频中说话人定位的方法，其特征在于，所述对若干所述分段视频进行人脸检测，得到若干人脸区域集，包括：

对所述分段视频中每一帧检测到的每张人脸均使用左上角坐标和右下角坐标进行定位，得到若干人脸区域，从而得到所述分段视频的所述人脸区域集。

5.根据权利要求4所述的视频中说话人定位的方法，其特征在于，所述对若干所述人脸区域集进行分组，得到若干人脸检测结果组，包括：

确定所述人脸区域集中任意相邻两帧的所述人脸区域的交集；

确定所述人脸区域集中任意相邻两帧的所述人脸区域的并集；

确定所述人脸区域的交集与所述人脸区域的并集的比值，得出人脸区域交并比；

当所述人脸区域交并比大于预设的第一阈值，将所述人脸区域分为一组，并采用中值滤波算法对分组后的人脸区域进行平滑处理，从而得到若干人脸检测结果组。

6.根据权利要求1所述的视频中说话人定位的方法，其特征在于，所述根据所述说话人人脸图像，从所述人脸检测结果组中确定目标人脸区域集，包括：

将若干所述人脸检测结果组中的人脸区域进行扭曲，使所述人脸区域中人脸的眼睛和嘴巴在预设的位置范围，得到扭曲后的人脸检测结果组；

将所述扭曲后的人脸检测结果组输入训练好的深度卷积神经网络模型，得到若干第一向量；

将所述说话人人脸图像输入所述训练好的深度卷积神经网络模型，得到第二向量；

根据所述第二向量与若干所述第一向量的相似度，确定所述说话人在所述扭曲后的人脸检测结果组中的位置，得到所述目标人脸区域集。

7.根据权利要求1所述的视频中说话人定位的方法，其特征在于，所述对所述分段音频以及所述人脸区域集进行唇形同步检测，确定目标人脸区域集，包括：

将若干所述人脸检测结果组输入第一神经网络，得到若干第三向量；所述第一神经网络用于对人脸的下半脸进行特征提取；

将若干所述分段音频输入第二神经网络，得到若干第四向量；所述第二神经网络用于对所述分段音频进行特征提取；

根据若干所述第三向量与若干所述第四向量的相似度，确定所述人脸检测结果组中的所述说话人，得到所述目标人脸区域集。