[发明专利]一种基于双判别器生成对抗网络的唇语识别方法及装置

说明书

本申请涉及一种基于双判别器生成对抗网络的唇语识别方法及装置，该方法包括：从视频中导出不同角度的人脸图片，根据所述人脸图片中不同的头部偏转角度得到唇部多角度数据集；并根据唇部多角度数据集得到的生成器数据集、身份判别器数据集、角度判别器数据集，再生成对抗网络数据模型；利用所述对抗网络数据模型对待识别的视频进行唇语识别，转换得到0°唇部图像；从所述0°唇部图像提取唇部特征向量，对所述唇部特征向量进行建模分类，得到唇部分类结果，根据所述唇部分类结果导出识别语言。本发明实施例具有和真实环境相似的视觉效果，可以很好的指导模型适应实际应用环境，进一步提升唇语识别模型的准确率。

技术领域

本申请涉及人工智能领域，特别是涉及一种基于双判别器生成对抗网络的唇语识别方法及装置。

背景技术

唇语识别是一项结合计算机视觉和自然语言处理的复杂任务，可以用来自动推断视觉和听觉信息包含的文字内容，具有很广的应用价值，如从无声监控视频或电影中恢复语音。最近几年，唇语识别的发展主要受以下两方面的推动：首先是深度学习技术的快速发展，这是一种源于神经科学的技术，在图像处理，语言模型等领域都取得了巨大的成功。其次是大型数据集的提出，他们为唇语识别提供了大量的训练数据和复杂的环境变化，极大地促进了唇语识别的发展。

大多数的唇语识别模型包含前端特征提取模型和后端分类模型。前端特征提取模型主要负责提取序列的每一帧的特征和每帧之间的变化特征。后端分类模型主要负责从前端模型输出的特征向量中学习整个序列的模式变化。但在特征提取阶段，大部分方法只采用简单的数据预处理，如随机裁切，水平翻转，增加对比度等，这些预处理方法只能一定程度上缓解过拟合问题，并不能很好的解决说话者状态如面部偏转等对特征提取的影响。

发明内容

基于此，有必要针对上述技术问题，提供一种基于双判别器生成对抗网络的唇语识别方法及装置。

第一方面，本发明实施例提供了一种基于双判别器生成对抗网络的唇语识别方法，包括以下步骤：

从视频中导出不同角度的人脸图片，根据所述人脸图片中不同的头部偏转角度得到唇部多角度数据集；

根据所述唇部多角度数据集得到生成器数据集，并从所述唇部多角度数据集分别提取得到身份判别器数据集、角度判别器数据集、角度分类数据集；

训练所述生成器数据集、身份判别器数据集、角度判别器数据集得到对抗网络数据模型，训练所述角度分类数据集得到角度分类器；

利用所述角度分类器对待识别的视频进行唇语识别，得到第一唇部图像，利用所述对抗网络数据模型转换所述第一唇部图像得到0°唇部图像；

从所述0°唇部图像提取唇部特征向量，对所述唇部特征向量进行建模分类，得到唇部分类结果，根据所述唇部分类结果导出识别语言。

进一步的，所述从视频中导出不同角度的人脸图片，根据所述人脸图片中不同的头部偏转角度得到唇部多角度数据集，包括：

将视频中人脸图片按照不同角度进行的每一帧拆分，得到每一帧的正视图，左视图，右视图组成的三视图图片；

使用人脸建模工具和所述三视图图片对每一帧面部图像进行人脸建模，导出人脸模型；

对所述人脸模型的不同角度对应的视图，使用标注工具标注特征点，定位唇部区域，裁切出唇部区域，得到唇部多角度数据集。

进一步的，所述根据所述人脸图片得到生成器数据集，从所述唇部多角度数据集分别提取得到身份判别器数据集、角度判别器数据集、角度分类数据集，包括：

使用头部姿态估计算法对所述唇部多角度数据集的人脸进行处理，得到人脸的偏转角度；

根据所述唇部多角度数据集中的随机选取不同的人脸图片，并标记每张人脸图片的说话者身份和偏转角度；