[发明专利]图像增广与神经网络训练方法、装置、设备及存储介质

权利要求书

1.一种图像增广方法，其特征在于，包括：

获取携带有目标对象的设置关键点标注的三维图像，其中所述三维图像由所述目标对象的二维图像重建获得；

获取所述三维图像旋转设定角度后投影所对应的缺损二维图像，所述缺损二维图像包括所述目标对象的所述设置关键点的与所述设定角度对应的转换坐标；

基于训练后的神经网络对所述缺损二维图像进行特征提取，基于所述设置关键点的转换坐标与姿态对应关系对所述缺损二维图像进行修复，得到与所述缺损二维图像对应的修复图像；

基于所述修复图像得到所述目标对象的增广图像集。

2.如权利要求1所述的图像增广方法，其特征在于，所述获取携带有目标对象的设置关键点标注的三维图像，包括：

获取所述目标对象的二维图像，基于所述二维图像以及三维标准模型包含的关键点映射关系，确定与所述二维图像对应的三维图像及设置关键点的三维坐标。

3.如权利要求1所述的图像增广方法，其特征在于，所述获取所述三维图像旋转设定角度后投影所对应的缺损二维图像，包括：

基于所述目标对象的所述设置关键点的与所述设定角度对应的转换坐标，确定所述三维图像旋转设定角度后所述目标对象对应的姿态，基于所述姿态确定对应的投影矩阵；

基于所述投影矩阵确定与所述姿态对应的缺损二维图像。

4.如权利要求1所述的图像增广方法，其特征在于，所述获取携带有目标对象的设置关键点标注的三维图像之前，还包括：

获取所述目标对象的原始二维图像作为待增广图像，对所述待增广图像进行处理，得到处理后的所述目标对象的二维图像；其中所述处理包括缩放处理和/或归一化处理。

5.如权利要求1所述的图像增广方法，其特征在于，所述神经网络为生成对抗网络，所述生成对抗网络包括生成网络和对抗网络；所述基于训练后的神经网络对所述缺损二维图像进行特征提取，基于所述设置关键点的转换坐标与姿态对应关系对所述缺损二维图像进行修复，得到与所述缺损二维图像对应的修复图像，包括：

将所述缺损二维图像输入训练后的生成对抗网络，通过生成网络基于所述设置关键点的转换坐标与姿态对应关系获得生成后的二维修复图像；

将所述生成后的二维修复图像和所述二维图像输入对抗网络，确定所述生成后的二维修复图像和所述二维图像的判别结果，基于所述判别结果确定与所述缺损二维图像对应的修复图像。

6.如权利要求5所述的图像增广方法，其特征在于，所述获取携带有目标对象的设置的关键点标注的三维图像之前，包括：

基于包含目标对象的二维图像重建获得三维训练图像，所述三维训练图像携带有目标对象的设置关键点标注标签；

获取基于所述三维训练图像旋转不同设定角度后分别投影所对应的多个二维训练图像的二维训练图像集。

7.如权利要求6所述的图像增广方法，其特征在于，所述获取携带有目标对象的设置的关键点标注的三维图像之前，还包括：

将所述二维训练图像输入初始的生成对抗网络，通过生成网络基于所述设置关键点的转换坐标与姿态对应关系获得对应的生成后的训练修复图像；

将所述二维训练图像和所述训练修复图像输入所述对抗网络，确定所述二维训练图像和所述训练修复图像的判别结果；

基于所述判别结果对所述生成对抗网络进行单独交替迭代，直至设置的损失函数满足收敛条件，获得训练后的所述生成对抗网络。

8.如权利要求7所述的图像增广方法，其特征在于，所述基于所述判别结果对所述生成对抗网络进行单独交替迭代直至设置的损失函数满足收敛条件之前，还包括：

根据对抗损失函数和重构损失函数的组合，得到所述生成对抗网络对应的损失函数。