[发明专利]数据增强方法、神经网络训练方法、图像处理方法及设备

说明书

本申请提供一种数据增强方法、神经网络训练方法、图像处理方法及设备，所述数据增强方法包括获取包括第一图像和第一标签的第一样本，所述第一图像包含人脸图像，所述第一标签为人脸姿态角；对所述第一图像进行旋转，获得第二图像；分别对所述第一图像和所述第二图像中的人脸进行三维重建，获得与所述第一图像对应的第一人脸模型和与所述第二图像对应的第二人脸模型；计算从所述第一人脸模型转换到所述第二人脸模型的旋转关系；根据所述旋转关系和所述第一标签，获得第二标签，所述第二标签为所述第二图像中的人脸姿态角，以所述第二图像和所述第二标签生成第二样本。用现有样本生成新样本，丰富神经网络的训练集，提升网络的准确度和泛化性。

技术领域

本申请涉及神经网络，尤其涉及一种数据增强方法、神经网络训练方法、图像处理方法及设备。

背景技术

头部姿态估计，是指根据输入的一张包含人脸的图像，再计算并输出图像中人的头部的三个姿态角：pitch(俯仰角)、yaw(偏航角)和roll(横滚角)，这三个角表示了人的头部在三维空间中的状态。目前的头部姿态估计方法一般采用深度学习的方案，而该方案需要收集多个“图像-三个姿态角标签”的训练数据。然而，由于三个姿态角是三维空间姿态，所以三个姿态角一般需要通过深度摄像机或者多目摄像机来解算获取，成本很高。因此，现有的方案一般都是利用一些开源的数据集来训练头部姿态估计的神经网络。然而，这些开源的数据集覆盖的人头角度比较有限，其中一些比较极端的大角度的样本极其缺少，以致于利用这些开源数据集训练得到的神经网络在头部姿态角度比较大的场景下表现很差。

发明内容

为克服相关技术中存在的问题，本申请提供一种数据增强方法、神经网络训练方法、图像处理方法及设备，用以解决相关技术中的缺陷。

根据本申请的第一方面，提供一种数据增强方法，所述方法包括：

获取包括第一图像和第一标签的第一样本，所述第一图像包含人脸图像，所述第一标签为人脸姿态角；

对所述第一图像进行旋转，获得第二图像；

分别对所述第一图像和所述第二图像中的人脸进行三维重建，获得与所述第一图像对应的第一人脸模型和与所述第二图像对应的第二人脸模型；

计算从所述第一人脸模型转换到所述第二人脸模型的旋转关系；

根据所述旋转关系和所述第一标签，获得第二标签，所述第二标签为所述第二图像中的人脸姿态角，以所述第二图像和所述第二标签生成第二样本。

根据本申请的第二方面，提供一种神经网络的训练方法，所述神经网络用于估计头部姿态角度，所述方法包括：

获取样本集，所述样本集中包括第二样本，所述第二样本利用上述任意实施例所述的数据增强方法生成；

将所述样本集输入神经网络进行训练，以利用训练后的所述神经网络估计头部姿态角度。

根据本申请的第三方面，提供一种图像处理方法，所述方法包括：

获取待处理的图像；

将待处理的图像输入指定的神经网络，所述神经网络利用上述任意实施例所述的神经网络的训练方法训练生成；

根据所述神经网络的输出结果估计头部姿态角度；

根据头部姿态角度对所述待处理的图像进行图像处理。

根据本申请的第四方面，提供一种直播中的图像处理方法，所述方法包括：

获取主播客户端的直播图像；

将所述直播图像输入指定的神经网络，所述神经网络利用上述任意实施例所述的神经网络的训练方法训练生成；

根据所述神经网络的输出结果估计头部姿态角度；