[发明专利]说话人识别方法、装置及电子设备

权利要求书

1.一种说话人识别方法，其特征在于，包括：

从待识别的视频文件中分离获得音频文件以及图像文件；

对所述音频文件进行语音分割，获得至少一个语音段各自对应的起止时间信息以及说话人标识信息，以及对所述图像文件进行人脸识别，获得不同时间点的图像帧分别对应的人脸识别结果；其中，所述语音分割获得的至少一个语音段包括：在所述音频文件中包含的噪声信息的影响下，导致的起止时间拆分错误，和/或说话人标识信息错误的语音段；

对所述语音分割获得的语音段的起止时间信息、说话人标识信息以及所述人脸识别结果，在时间上进行对齐处理，确定所述至少一个语音段对应的说话人，以便根据所述人脸识别结果对所述语音分割获得的语音段的起止时间信息、说话人标识信息进行修正。

2.根据权利要求1所述的方法，其特征在于，还包括：

对说话人对应的至少一个语音段进行合并处理。

3.根据权利要求1所述的方法，其特征在于，

所述对所述说话人标识信息以及所述人脸识别结果，在时间上进行对齐处理，包括：

根据相邻语音段各自对应的起止时间信息，确定进行对齐处理的目标起止时间；

获得所述目标起止时间对应的目标人脸识别结果；

如果所述目标人脸识别结果对应一名目标用户，则对所述相邻语音段进行合并处理，并对合并后的语音段以及所述目标用户进行关联。

4.根据权利要求1所述的方法，其特征在于，

所述对所述说话人标识信息以及所述人脸识别结果，在时间上进行对齐处理，包括：

根据语音段对应的起止时间信息，获得所述起止时间对应的目标人脸识别结果；

如果所述目标人脸识别结果对应至少两名用户，则从中确定一名目标用户，并对所述语音段以及所述目标用户进行关联。

5.根据权利要求4所述的方法，其特征在于，

从所述至少两名用户中确定一名目标用户，包括：

将所述起止时间内出现次数最多的用户，确定为所述目标用户。

6.根据权利要求3至5中任一项所述的方法，其特征在于，还包括：

获得说话人信息库，所述说话人信息库中保存有至少一个说话人的身份信息关联的人脸特征信息；

根据所述目标用户的人脸特征信息，从所述说话人信息库中确定所述目标用户的身份信息。

7.一种视频文件处理方法，其特征在于，包括：

服务端获得有声语言交流活动产生的视频文件；

根据从所述视频文件中分离出的音频文件以及图像文件，进行说话人识别，获得不同说话人各自关联的语音段的集合；其中，所述语音段的集合通过以下方式获得：对所述音频文件进行语音分割，获得至少一个语音段各自对应的起止时间信息以及说话人标识信息，其中，所述语音分割获得的至少一个语音段包括：在所述音频文件中包含的噪声信息的影响下，导致的起止时间拆分错误，和/或说话人标识信息错误的语音段；对所述图像文件进行人脸识别，获得不同时间点的图像帧分别对应的人脸识别结果，并根据所述人脸识别结果对所述语音分割获得的语音段的起止时间信息、说话人标识信息进行修正；

对所述说话人关联的语音段的集合进行语音识别，获得所述说话人的说话内容；

建立所述说话人与对应的说话内容之间的关联关系。

8.根据权利要求7所述的方法，其特征在于，还包括：

从所述说话人关联的说话内容中，提取所述说话人的内容看点；

对所述内容看点进行后处理，生成看点文件下发至客户端。

9.根据权利要求8所述的方法，其特征在于，

对所述内容看点进行后处理，生成看点文件下发至客户端，包括：

如果所述客户端关联的智能设备为视频播放设备，则将所述内容看点添加到所述视频文件中，并将包含所述内容看点的视频文件发送至所述客户端进行视频播放。