[发明专利]图像增广与神经网络训练方法、装置、设备及存储介质

说明书

本发明实施例提供一种图像增广与神经网络训练方法、装置、设备及存储介质，获取携带有目标对象的设置关键点标注的三维图像，其中所述三维图像由所述目标对象的二维图像重建获得；获取所述三维图像旋转设定角度后投影所对应的缺损二维图像，所述缺损二维图像包括所述目标对象的所述设置关键点的与所述设定角度对应的转换坐标；基于训练后的神经网络对所述缺损二维图像进行特征提取，基于所述设置关键点的转换坐标与姿态对应关系对所述缺损二维图像进行修复，得到与所述缺损二维图像对应的修复图像；基于所述修复图像得到所述目标对象的增广图像集。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种图像增广的方法及装置、神经网络训练方法及装置、计算机设备及存储介质。

背景技术

深度学习的人脸与识别模型的训练需要大量精确标注的数据，但是人工标注的数据量非常有限，另外，对于大姿态的人脸图像来说进行人工标注的难度很高，由于自遮挡和大姿态的存在，在人工标注的过程中，对于不可见位置的标注，往往需要猜测关键点的位置，带有一定的主观性，例如确定一个人的左嘴角位置，不同的人标注的结果可能会有些许偏差，标注的准确性难以把握。现有的人脸关键点数据库中，精确的大姿态人脸关键点数据也比较少。

发明内容

有鉴于此，本发明实施例的主要目的在于提供一种图像增广的方法及装置、神经网络训练方法及装置、计算机设备及存储介质，能够自动快速获取携带有指定目标对象的关键点信息的增广图像。

为达到上述目的，本发明实施例的技术方案是这样实现的：

本发明实施例第一方面，提供了一种图像增广方法，包括：获取携带有目标对象的设置关键点标注的三维图像，其中所述三维图像由所述目标对象的二维图像重建获得；获取所述三维图像旋转设定角度后投影所对应的缺损二维图像，所述缺损二维图像包括所述目标对象的所述设置关键点的与所述设定角度对应的转换坐标；基于训练后的神经网络对所述缺损二维图像进行特征提取，基于所述设置关键点的转换坐标与姿态对应关系对所述缺损二维图像进行修复，得到与所述缺损二维图像对应的修复图像；基于所述修复图像得到所述目标对象的增广图像集。

本发明实施例的第二方面，提供一种神经网络训练方法，包括：采用本发明任意实施例所提供的图像增广方法获得目标对象的增广图像集；根据所述目标对象的二维图像和所述增广图像集形成训练样本集；将所述训练样本集输入神经网络模型进行训练，直至所述神经网络模型收敛，得到训练后的所述神经网络模型。

本发明实施例的第三方面，提供了一种图像增广装置，所述装置包括：获取模块，用于获取携带有目标对象的设置关键点标注的三维图像，其中所述三维图像由所述目标对象的二维图像重建获得；投影模块，用于获取所述三维图像旋转设定角度后投影所对应的缺损二维图像，所述缺损二维图像包括所述目标对象的所述设置关键点的与所述设定角度对应的转换坐标；第一处理模块，用于基于训练后的神经网络对所述缺损二维图像进行特征提取，基于所述设置关键点的转换坐标与姿态对应关系对所述缺损二维图像进行修复，得到与所述缺损二维图像对应的修复图像；第二处理模块，用于基于所述修复图像得到所述目标对象的增广图像集。

本发明实施例的第四方面，提供了一种神经网络训练装置，所述装置包括：样本生成模块，用于采用本发明任意实施例所提供的图像增广方法获得目标对象的增广图像集，根据所述目标对象的二维图像和所述增广图像集形成训练样本集；训练模块，用于将所述训练样本集输入神经网络模型进行训练，直至所述神经网络模型收敛，得到训练后的所述神经网络模型。

本发明实施例的第五方面，提供了一种计算机设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；

其中，所述处理器用于运行所述计算机程序时，实现本发明任一实施例所提供的图像增广方法、或实现本发明任一实施例所提供的神经网络训练方法。