[发明专利]一种实时关联说话人及其语音识别结果的方法及装置

权利要求书

1.一种实时关联说话人及其语音识别结果的方法，其特征在于，包括：

将第一时段采集的音频信号进行语音识别，确定第一说话对象及所述第一说话对象对应的音频帧；

将所述第一时段采集的视频信号进行人脸识别，确定第二说话对象及所述第二说话对象对应的图像帧；所述第二说话对象是根据所述视频信号的图像帧中同一人脸的唇动特征确定的；

确定所述第一说话对象对应的音频帧与所述第二说话对象对应的图像帧的对应关系；所述对应关系用于指示具有对应关系的音频帧和图像帧是针对同一对象的。

2.如权利要求1所述的方法，其特征在于，所述将所述第一时段采集的视频信号进行人脸识别，确定第二说话对象及所述第二说话对象对应的图像帧，包括：

对所述第一时段采集的视频信号中的N帧图像进行人脸识别，确定第二对象；

对包括所述第二对象的M帧图像中所述第二对象的唇部区域进行唇动检测，确定所述M帧图像中每帧图像的唇动特征；

根据所述M帧图像中每帧图像的唇动特征确定存在唇动的置信度，若所述M帧图像中有K帧图像的存在唇动的置信度大于第一预设阈值，则确定所述第二对象为所述第二说话对象，并将所述K帧图像确定为所述第二说话对象对应的图像帧；N大于或等于M；M大于或等于K。

3.如权利要求1至2任一项所述的方法，其特征在于，所述确定所述第一说话对象对应的音频帧与所述第二说话对象对应的图像帧的对应关系之后，还包括：

将所述第一说话对象对应的音频帧的语音识别结果以对象指示的方式显示在与所述音频帧存在对应关系的图像帧上，所述对象指示的方式指将所述音频帧的语音识别结果与所述第二说话对象之间建立关联显示关系。

4.如权利要求3所述的方法，其特征在于，还包括：

确定与所述音频帧存在对应关系的所述图像帧中的所述第二说话对象的人脸中的关键点，并将所述关键点显示在所述图像帧上。

5.一种实时关联说话人及其语音识别结果的装置，其特征在于，包括：

音频处理模块，用于将第一时段采集的音频信号进行语音识别，确定第一说话对象及所述第一说话对象对应的音频帧；

图像处理模块，用于将所述第一时段采集的视频信号进行人脸识别，确定第二说话对象及所述第二说话对象对应的图像帧；所述第二说话对象是根据所述视频信号的图像帧中同一人脸的唇动特征确定的；

识别处理模块，用于确定所述第一说话对象对应的音频帧与所述第二说话对象对应的图像帧的对应关系；所述对应关系用于指示具有对应关系的音频帧和图像帧是针对同一对象的。

6.如权利要求5所述的装置，其特征在于，所述音频处理模块，具体用于：

对所述第一时段采集的视频信号中的N帧图像进行人脸识别，确定第二对象；对包括所述第二对象的M帧图像中所述第二对象的唇部区域进行唇动检测，确定所述M帧图像中每帧图像的唇动特征；根据所述M帧图像中每帧图像的唇动特征确定存在唇动的置信度，若所述M帧图像中有K帧图像的存在唇动的置信度大于第一预设阈值，则确定所述第二对象为所述第二说话对象，并将所述K帧图像确定为所述第二说话对象对应的图像帧；N大于或等于M；M大于或等于K。

7.如权利要求5至6任一项所述的装置，其特征在于，还包括：

显示模块，用于将所述第一说话对象对应的音频帧的语音识别结果以对象指示的方式显示在与所述音频帧存在对应关系的图像帧上，所述对象指示的方式指将所述音频帧的语音识别结果与所述第二说话对象之间建立关联显示关系。

8.如权利要求7所述的装置，其特征在于，所述图像处理模块还用于：

确定与所述音频帧存在对应关系的所述图像帧中的所述第二说话对象的人脸中的关键点，并通过所述显示模块将所述关键点显示在所述图像帧上。

9.一种存储介质，其特征在于，存储有用于语音识别的方法的程序，所述程序被处理器运行时，执行如权利要求1至4中任一项所述的方法。

10.一种计算机设备，其特征在于，包括一个或多个处理器；以及

一个或多个计算机可读介质，所述可读介质上存储有指令，所述指令被所述一个或多个处理器执行时，使得所述装置执行如权利要求1至4中任一项所述的方法。