[发明专利]一种结合语音识别的实时人脸轨迹跟踪方法及装置

权利要求书

1.一种结合语音识别的实时人脸轨迹跟踪方法，其特征在于，包括：

将第二时段采集的音频信号进行语音识别，确定第三说话对象及所述第三说话对象对应的音频帧；

在确定所述第三说话对象为已关联对象时，将所述第二时段采集的视频信号的图像帧与所述已关联对象的人脸图像进行匹配，从所述第二时段采集的视频信号中确定包含所述已关联对象的图像帧；所述已关联对象是根据第一时段采集的音频信号和第一时段采集的视频信号建立的对应关系中指示的对象；所述对应关系用于指示具有对应关系的音频帧和图像帧是针对同一对象的；所述已关联对象的人脸图像是通过所述第一时段采集的视频信号得到的；

确定所述第三说话对象对应的音频帧与所述第二时段采集的包含所述已关联对象的图像帧的所述对应关系。

2.如权利要求1所述的方法，其特征在于，所述已关联对象是根据第一时段采集的音频信号和第一时段采集的视频信号建立的对应关系中指示的对象，包括：

将第一时段采集的音频信号进行语音识别，确定第一说话对象及所述第一说话对象对应的音频帧；

将所述第一时段采集的视频信号进行人脸识别，确定第二说话对象及所述第二说话对象对应的图像帧；所述第二说话对象是根据所述视频信号的图像帧中同一人脸的唇动特征确定的；

确定所述第一说话对象对应的音频帧与所述第二说话对象对应的图像帧之间的所述对应关系，并将所述对应关系中的对象确定为所述已关联对象。

3.如权利要求2所述的方法，其特征在于，所述将所述第一时段采集的视频信号进行人脸识别，确定第二说话对象及所述第二说话对象对应的图像帧，包括：

对所述第一时段采集的视频信号中的N帧图像进行人脸识别，确定第二对象；

对包括所述第二对象的M帧图像中所述第二对象的唇部区域进行唇动检测，确定所述M帧图像中每帧图像的唇动特征；

根据所述M帧图像中每帧图像的唇动特征确定存在唇动的置信度，若所述M帧图像中有K帧图像的存在唇动的置信度大于第一预设阈值，则确定所述第二对象为所述第二说话对象，并将所述K帧图像确定为所述第二说话对象对应的图像帧；N大于或等于M；M大于或等于K。

4.如权利要求1-3任一项所述的方法，其特征在于，所述第二时段为当前时段，所述第一时段早于所述第二时段；或，所述将第二时段采集的音频信号进行语音识别，确定第三说话对象，包括：

将所述第二时段采集的音频信号进行语音识别，确定所述第一时段采集的音频信号与所述第二时段采集的音频信号为针对所述第三说话对象的连续音频信号；所述第一时段早于所述第二时段。

5.一种结合语音识别的实时人脸轨迹跟踪装置，其特征在于，包括：

音频处理模块，用于将第二时段采集的音频信号进行语音识别，确定第三说话对象及所述第三说话对象对应的音频帧；

识别处理模块，用于在确定所述第三说话对象为已关联对象时，将所述第二时段采集的视频信号的图像帧与所述已关联对象的人脸图像进行匹配，从所述第二时段采集的视频信号中确定包含所述已关联对象的图像帧；所述已关联对象是根据第一时段采集的音频信号和第一时段采集的视频信号建立的对应关系中指示的对象；所述对应关系用于指示具有对应关系的音频帧和图像帧是针对同一对象的；所述已关联对象的人脸图像是通过所述第一时段采集的视频信号得到的；确定所述第三说话对象对应的音频帧与所述第二时段采集的包含所述已关联对象的图像帧的所述对应关系。

6.如权利要求5所述的装置，其特征在于，所述音频处理模块，具体用于：将第一时段采集的音频信号进行语音识别，确定第一说话对象及所述第一说话对象对应的音频帧；所述装置还包括：

图像处理模块，用于将所述第一时段采集的视频信号进行人脸识别，确定第二说话对象及所述第二说话对象对应的图像帧；所述第二说话对象是根据所述视频信号的图像帧中同一人脸的唇动特征确定的；

所述识别处理模块，用于确定所述第一说话对象对应的音频帧与所述第二说话对象对应的图像帧之间的所述对应关系，并将所述对应关系中的对象确定为所述已关联对象。