[发明专利]一种基于生成对抗网络的数据增强方法

权利要求书

1.一种基于生成对抗网络的数据增强方法，其特征在于，包括：首先提取图像特征，编码至特征空间。然后生成3D骨架，将提取的图像特征融合进3D骨架，渲染生成3D框架。接着进行3D框架的视角回归。再利用三维仿射变换，生成新视角的3D框架。进一步将3D框架降维投影成2D图像。最后通过图像修复模型微调得到最终生成的新视角图像。

2.如权利要求1所述基于生成对抗网络的数据增强方法，其特征在于，具体包括以下步骤：

(1)给定待处理的原始图像x_ori，经过一个卷积层构成的特征提取模块，获取其高阶特征attr_ori：

attr_ori＝Encoder(x_ori)

(2)建立3D骨架，其网络层由三维卷积构成，输入为一个可学习的3维张量input，旨在从input里重建出一个正向的3D骨架。把步骤(1)提取的高阶特征attr_ori融合渲染进3D骨架，形成一个输入图像的3D框架x_3D-ori：

x_3D-ori＝3Dmodel(attr_ori)

(3)把3D框架x_3D-ori输入视角回归模型，进行视角回归任务得到θ₁：

θ₁＝viewregression(x_3D-ori)

由于期望最初生成的视角为正向视角(0，90，90)，给出一个损失罚项loss_oriview：

(4)选定目标新视角θ_target，进行三维仿射变换，生成新视角3D框架x_3D-new：

x_3D-new＝Affine(x_3D-ori；θ_target)

同时输入x_3D-new到回归模型进行视角回归得到θ₂：

θ₂＝viewregression(x_3D-new)

给出新视角的损失罚项loss_newview：

(5)进行新视角的3D转2D投影操作，生成图像x_new：

x_new＝Projection(x_3D-new)

再接入一个图像修复模型进行生成图像微调，最终生成新视角图像x_newview：

x_newview＝Repairmode(x_new)

(6)为了保证其他属性的不变性，把图像x_newview再次输入到步骤(1)的特征提取模块中提取高阶特征attr_newview：

attr_newview＝Encoder(x_newview)

给出特征重建损失loss_attr：

最终总损失为：

loss＝loss_oriview+loss_newview+loss_attr+loss_adversarial

其中，loss_adversarial指代生成对抗网络的对抗损失。

3.如权利要求2所述基于生成对抗网络的数据增强方法，其特征在于，步骤(2)中，输入input作为可学习参数，不作为模型正式的输入。

4.如权利要求1所述基于生成对抗网络的数据增强方法，其特征在于，所述3D骨架为一个大致骨架，与提取的图像特征融合后才能形成对应的3D框架，融合方式采用特征拼接或自适应正则化方法等。