[发明专利]图像生成模型训练方法以及装置

权利要求书

1.一种图像生成模型训练方法，包括：

获取目标对象的至少两张第一样本图像以及第一样本基准图像；

计算每张第一样本图像相对于所述第一样本基准图像的第一样本位姿变换矩阵；

将所述每张第一样本图像进行深度估计，获得所述每张第一样本图像的第一样本深度图像；

基于所述第一样本图像、所述第一样本位姿变换矩阵以及所述第一样本深度图像对初始图像生成模型进行模型训练，获得针对所述目标对象的三维图像的图像生成模型。

2.根据权利要求1所述的图像生成模型训练方法，所述基于所述第一样本图像、所述第一样本位姿变换矩阵以及所述第一样本深度图像对初始图像生成模型进行模型训练，获得针对所述目标对象的三维图像的图像生成模型，包括：

将所述第一样本图像、所述第一样本位姿变换矩阵、第一样本深度图像组成训练样本集；

将所述训练样本集中的训练样本输入所述初始图像生成模型的编码模块，生成中间三维形变向量；

将所述中间三维形变向量输入所述初始图像生成模型的解码模块进行解码，获得所述目标对象的中间三维图像；

确定所述中间三维图像在所述第一样本位姿变换矩阵对应的拍摄视角的中间深度图像；

计算所述中间深度图像和所述样本深度图像的误差，并根据计算结果对所述初始图像生成模型进行迭代训练，获得所述图像生成模型。

3.根据权利要求1所述的图像生成模型训练方法，还包括：

获取所述目标对象的第一图像以及基准图像；

计算所述第一图像相对于所述基准图像的位姿变换矩阵；

将所述第一图像进行深度估计，获得所述第一图像的深度图像；

将所述位姿变换矩阵、所述深度图像以及所述第一图像输入所述图像生成模型进行三维重建，获得所述目标对象的目标三维图像。

4.根据权利要求3所述的图像生成模型训练方法，所述将所述位姿变换矩阵、所述深度图像以及所述第一图像输入所述图像生成模型进行三维重建，获得所述目标对象的目标三维图像，包括：

将所述位姿变换矩阵、所述深度图像以及所述第一图像输入所述图像生成模型的编码模块进行特征编码，获得三维形变向量；

将所述三维形变向量输入所述图像生成模型的解码模块进行解码，获得所述目标对象的所述目标三维图像。

5.根据权利要求1所述的图像生成模型训练方法，所述计算每张第一样本图像相对于所述第一样本基准图像的第一样本位姿变换矩阵，包括：

对所述每张第一样本图像进行关键点检测，获得第一关键点集合，并对所述第一样本基准图像进行关键点检测，获得基准关键点集合；

将所述第一关键点集合中第一关键点与所述基准关键点集合中的基准关键点进行关键点匹配，获得关键匹配点集合；

基于所述关键匹配点集合，计算所述第一样本图像相对于所述第一样本基准图像的第一样本位姿变换矩阵。

6.根据权利要求1所述的图像生成模型训练方法，所述将所述每张第一样本图像进行深度估计，获得所述每张第一样本图像的第一样本深度图像，包括：

将所述每张第一样本图像输入深度图像模型进行深度估计，获得所述每张第一样本图像的第一样本深度图像。

7.根据权利要求6所述的图像生成模型训练方法，所述深度图像模型，通过如下方式进行训练：

获取所述目标对象的至少两张第二样本图像以及第二样本基准图像；

计算每张第二样本图像相对于所述第二样本基准图像的第二样本位姿变换矩阵；

将所述每张第二样本图像输入初始深度图像模型进行深度估计，获得所述每张第一样本图像的训练深度图像；

基于所述第二样本图像与所述第二样本基准图像之间的关键匹配点，确定所述关键匹配点对应的深度值；

计算所述关键匹配点在所述训练深度图中对应的训练深度值；

基于所述训练深度值以及所述深度值之间的误差，对所述初始深度图像模型进行迭代训练，获得所述深度图像模型。