[发明专利]一种实时关联说话人及其语音识别结果的方法及装置

说明书

本发明涉及通信技术领域，特别涉及一种实时关联说话人及其语音识别结果的方法及装置。该方法为：将第一时段采集的音频信号进行语音识别，确定第一说话对象及所述第一说话对象对应的音频帧；将所述第一时段采集的视频信号进行人脸识别，确定第二说话对象及所述第二说话对象对应的图像帧；所述第二说话对象是根据所述视频信号的图像帧中同一人脸的唇动特征确定的；确定所述第一说话对象对应的音频帧与所述第二说话对象对应的图像帧的对应关系；所述对应关系用于指示具有对应关系的音频帧和图像帧是针对同一对象的。

技术领域

本发明涉及通信技术领域，特别涉及一种实时关联说话人及其语音识别结果的方法及装置。

背景技术

当今社会中，出于安防管理的需要，监控设备布满了街道、社区、楼宇等各种公共场合。在发生警情时，警务人员利用监控摄像搜捕嫌疑人。

然而随着监控网络规模的扩大，视频数据海量增长。在出现警情时，基于嫌疑人的图像从海量图像中获取有用的信息或者情报越来越困难，不仅效率低，同时人力成本高，导致对监控的相关业务受限，难以满足现实的需要。

另外，针对会议场景的需要，尤其是远程会议场景的需要，会议中或监控中仅能显示视频，无法在显示界面显示说话人的语音识别结果，导致会议的效率不高，另外，针对会议中信息的记录也需要额外增加人力进行会议记录，导致耗费了大量的人力成本，无法提高业务效率。

发明内容

本发明实施例提供一种实时关联说话人及其语音识别结果的方法及装置，用以实现监控场景或会议场景下的语音识别与图像的联合监控与显示，提高监控效率和会议效率。

本发明实施例提供的具体技术方案如下：

本发明实施例提供一种实时关联说话人及其语音识别结果的方法，包括：将第一时段采集的音频信号进行语音识别，确定第一说话对象及所述第一说话对象对应的音频帧；

将所述第一时段采集的视频信号进行人脸识别，确定第二说话对象及所述第二说话对象对应的图像帧；所述第二说话对象是根据所述视频信号的图像帧中同一人脸的唇动特征确定的；

确定所述第一说话对象对应的音频帧与所述第二说话对象对应的图像帧的对应关系；所述对应关系用于指示具有对应关系的音频帧和图像帧是针对同一对象的。

本发明实施例中，通过将第一时段采集的音频信号进行语音识别，及所述第一时段采集的视频信号进行人脸识别；确定第二说话对象及所述第二说话对象对应的图像帧；确定所述第一说话对象对应的音频帧与所述第二说话对象对应的图像帧的对应关系，以使监控场景下，获得更多的待识别对象的监控信息和图像信息，无需在离线过程中，再查找第二说话对象对应的语音识别结果，为安防提供更多的监控数据，提高监控效率，以适应更多的监控环境。另外，对会议场景，可以提高会议的在线识别语音识别结果的说话人，提高会议的效率。

一种可能的实现方式，所述将所述第一时段采集的视频信号进行人脸识别，确定第二说话对象及所述第二说话对象对应的图像帧，包括：

对所述第一时段采集的视频信号中的N帧图像进行人脸识别，确定第二对象；

对包括所述第二对象的M帧图像中所述第二对象的唇部区域进行唇动检测，确定所述M帧图像中每帧图像的唇动特征；

根据所述M帧图像中每帧图像的唇动特征确定存在唇动的置信度，若所述M帧图像中有K帧图像的存在唇动的置信度大于第一预设阈值，则确定所述第二对象为所述第二说话对象，并将所述K帧图像确定为所述第二说话对象对应的图像帧；N大于或等于M；M大于或等于K。

上述技术方案中，通过对图像中的唇部区域进行唇动检测，确定第二说话对象的图像帧，进而实现在线关联音频信号中的语音识别结果，无需在离线过程中，查找第二说话对象对应的语音识别结果，提高了监控效果。