[发明专利]一种多人视频中发言人的识别方法和装置

权利要求书

1.一种多人视频中发言人的识别方法，其特征在于，包括：

获取摄像头所采集的图像数据，调用预设的人脸识别模型对每一帧所述图像数据进行识别，确定所获取到的每一人脸特征在所属图像数据中的位置参数；

获取麦克风阵列所采集的多路音频数据，采用预设的语音识别模型确定其中一路人声声能最强的音频数据的位置参数；

根据所述音频数据的位置参数确定发言人在所述图像中的位置参数；

根据发言人在所述图像中的位置参数，获取对所述发言人人脸的图像截取数据，对所述图像截取数据中图像进行像素放大。

2.根据权利要求1所述的方法，其特征在于，所述调用预设的人脸识别模型对每一帧所述图像数据进行识别，包括：

提取样本图像中的人脸特征；

将所述人脸特征以及样本图像数据输入至识别网络中，确定人脸识别框的位置信息和所述人脸识别框中的人脸图像信息；

对所述人脸识别框中的人脸图像进行截取，得到人脸截图框，并将所述人脸截图框中的图像数据输入至所述识别网络中；

通过所述识别网络对所述人脸识别框和所述人脸截图框进行训练得到所述人脸识别模型。

3.根据权利要求1所述的方法，其特征在于，所述获取麦克风阵列所采集的多路音频数据，采用预设的语音识别模型确定其中一路人声声能最强的音频数据的位置参数，包括：

对所采集的每路所述音频数据中根据参考信号进行回声消除处理；具体的，参考信号可从扬声器或声卡驱动中获取参考信号；

对未被回声消除的信号进行降噪抑制，采用自动增益得到可识别的人声数据；

对每路音频数据中人声数据采用波束形成算法处理，得到多路波束信号；

分别对每路波束信号进行语音识别，确定人声声能最强的波束信号，得到与该波束信号对应的音频数据的位置参数。

4.根据权利要求1所述的方法，其特征在于，所述分别对每路波束信号进行语音识别，包括：

分别对每路波束信号中的关键词进行语音识别，对检测到其中一路波束信号中的关键词信息与预设关键词训练结果相匹配时，则该路波束信号为关键词波束信号。

5.根据权利要求1所述的方法，其特征在于，所述通过所述识别网络对所述人脸识别框和所述人脸截图框进行训练得到所述人脸识别模型，包括：

获取图像放大区域的像素占比数据；

根据图像截取数据中的像素占比数据计算所截取图像放大至所述图像放大区域中的放大系数；

对所述图像截取数据中图像根据所述放大系数进行像素放大。

6.一种多人视频中发言人的识别装置，其特征在于，包括：

人脸识别模块，用于获取摄像头所采集的图像数据，调用预设的人脸识别模型对每一帧所述图像数据进行识别，确定所获取到的每一人脸特征在所属图像数据中的位置参数；

语音识别模块，获取麦克风阵列所采集的多路音频数据，采用预设的语音识别模型确定其中一路人声声能最强的音频数据的位置参数；

位置确认模块，用于根据所述音频数据的位置参数确定发言人在所述图像中的位置参数；

像素放大模块，用于根据发言人在所述图像中的位置参数，获取对所述发言人人脸的图像截取数据，对所述图像截取数据中图像进行像素放大。

7.根据权利要求6所述的装置，其特征在于，所述人脸识别模块，包括：

提取样本图像中的人脸特征；

将所述人脸特征以及样本图像数据输入至识别网络中，确定人脸识别框的位置信息和所述人脸识别框中的人脸图像信息；

对所述人脸识别框中的人脸图像进行截取，得到人脸截图框，并将所述人脸截图框中的图像数据输入至所述识别网络中；

通过所述识别网络对所述人脸识别框和所述人脸截图框进行多卷积层结构的训练得到所述人脸识别模型。