[发明专利]一种台词对应人物的确定方法、装置及电子设备

权利要求书

1.一种台词对应人物的确定方法，其特征在于，所述方法包括：

获取待处理声纹特征，其中，所述待处理声纹特征为目标视频中的台词对应的声纹特征；

将所述声纹特征进行聚类，确定每个声纹特征所属的类别；

基于每个类别对应的所述目标视频的画面信息，确定该类别的声纹特征所对应的备选人物；

针对每个类别，根据该类别的声纹特征对应的备选人物的数量，确定该类别的声纹特征对应的台词所对应的人物。

2.根据权利要求1所述的方法，其特征在于，所述获取待处理声纹特征的步骤，包括：

将所述目标视频对应的音频按照台词的开始时间和结束时间，划分为每句台词对应的音频片段；

提取每个音频片段的声纹特征，得到待处理声纹特征。

3.根据权利要求1所述的方法，其特征在于，所述将所述声纹特征进行聚类，确定每个声纹特征所属的类别的步骤，包括：

基于所述目标视频的场景信息，确定所述目标视频包括的每个场景对应的时间段；

将每个时间段对应的声纹特征进行聚类，确定每个时间段对应的声纹特征所属的类别。

4.根据权利要求1所述的方法，其特征在于，所述基于每个类别对应的所述目标视频的画面信息，确定该类别的声纹特征所对应的备选人物的步骤，包括：

针对所述每个类别，获取该类别包括的声纹特征对应的时间段内所述目标视频的视频帧；

对所述视频帧进行人脸识别，确定该时间段所包括的视频帧中每个人物出现时长的比例；

将对应的比例达到预设比例的人物，确定为该类别的声纹特征所对应的备选人物。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据该类别的声纹特征对应的备选人物的数量，确定该类别的声纹特征对应的台词所对应的人物的步骤，包括：

如果该类别的声纹特征对应的备选人物的数量为一个，确定该备选人物为该类别的声纹特征对应的台词所对应的人物；

如果该类别的声纹特征对应的备选人物的数量为多个，基于该类别的聚类中心与第一目标类别的聚类中心之间的相似度，确定该类别的声纹特征对应的台词所对应的人物，其中，所述第一目标类别为与该类别对应的场景相同，且对应的备选人物的数量为一个的类别。

6.根据权利要求5所述的方法，其特征在于，所述基于该类别的聚类中心与第一目标类别的聚类中心之间的相似度，确定该类别的声纹特征对应的台词所对应的人物的步骤，包括：

分别计算该类别的聚类中心与每个第一目标类别的聚类中心之间的相似度；

将对应的相似度达到第一预设相似度的第一目标类别所对应的备选人物，确定为该类别的声纹特征对应的台词所对应的人物。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

如果该类别的聚类中心与每个第一目标类别的聚类中心之间的相似度均未达到所述第一预设相似度，分别计算该类别的聚类中心与每个第二目标类别的聚类中心之间的相似度，其中，所述第二目标类别为与该类别对应的场景不同，且对应的备选人物的数量为一个的类别；

将对应的相似度达到第二预设相似度的第二目标类别所对应的备选人物，确定为该类别的声纹特征对应的台词所对应的人物。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

如果该类别的聚类中心与每个第二目标类别的聚类中心之间的相似度均未达到所述第二预设相似度，针对该类别的每个声纹特征，计算该声纹特征与该类别中的其他声纹特征之间的相似度；

如果达到预设阈值的相似度的占比小于预设占比，获取包括该声纹特征对应的视频时间点的预设时长内的各待比对声纹特征；

分别计算该声纹特征与每个待比对声纹特征之间的相似度；

将对应的相似度最高待比对声纹特征对应的人物，确定为该声纹特征对应的台词所对应的人物。