[发明专利]一种对象重建方法、装置、电子设备和存储介质

权利要求书

1.一种对象重建方法，其特征在于，包括：

获取包含目标对象的多帧待处理图像；

将所述多帧待处理图像输入对象重建模型中的第一编码器进行特征提取，得到每帧所述待处理图像对应的第一特征信息；

将每帧所述待处理图像对应的第一特征信息输入所述对象重建模型中的特征提取网络进行特征提取，得到每帧所述待处理图像对应的非固有特征信息和所述多帧待处理图像对应的一个固有特征信息；

将每个所述非固有特征信息分别和所述固有特征信息进行拼接，得到每帧所述待处理图像对应的一个全局特征信息；

将每帧所述待处理图像对应的一个全局特征信息输入所述对象重建模型中的渲染器进行渲染处理，得到每帧所述待处理图像对应的一个三维重建图像。

2.根据权利要求1所述的对象重建方法，其特征在于，所述特征提取网络包括第二编码器；

所述将每帧所述待处理图像对应的第一特征信息输入所述对象重建模型中的特征提取网络进行特征提取，得到每帧所述待处理图像对应的非固有特征信息包括：

将每帧所述待处理图像对应的第一特征信息输入所述第二编码器进行特征提取，得到每帧所述待处理图像对应的非固有特征信息。

3.根据权利要求1所述的对象重建方法，其特征在于，所述特征提取网络包括平均特征层和第三编码器；

所述将每帧所述待处理图像对应的第一特征信息输入所述对象重建模型中的特征提取网络进行特征提取，得到所述多帧待处理图像对应的一个固有特征信息包括：

将每帧所述待处理图像对应的第一特征信息输入所述平均特征层进行求平均值处理，得到融合特征信息；

将所述融合特征信息输入所述第三编码器进行特征提取，得到所述多帧待处理图像对应的一个固有特征信息。

4.根据权利要求1-3任一所述的对象重建方法，其特征在于，所述对象重建模型的训练方法包括：

获取包含第一参考对象的多帧样本图像；

将所述多帧样本图像输入神经网络中的所述第一编码器进行特征提取，得到每帧所述样本图像对应的第一特征信息；

将每帧所述样本图像对应的第一特征信息输入所述神经网络中的所述特征提取网络进行特征提取，得到每帧所述样本图像对应的非固有特征信息和所述多帧样本图像对应的一个固有特征信息；

将每帧所述样本图像对应的非固有特征信息分别和所述多帧样本图像对应的一个固有特征信息进行拼接，得到每帧所述样本图像对应的一个全局特征信息；

将每帧所述样本图像对应的一个全局特征信息输入所述神经网络中的所述渲染器进行渲染处理，得到每帧所述样本图像的一个三维重建图像；

将每帧所述样本图像的一个三维重建图像进行投影，得到每帧所述样本图像对应的投影图像；

根据每帧所述样本图像以及每帧所述样本图像对应的投影图像训练所述神经网络，得到所述对象重建模型。

5.根据权利要求4所述的对象重建方法，其特征在于，所述根据每帧所述样本图像以及每帧所述样本图像对应的投影图像训练所述神经网络，得到所述对象重建模型包括：

利用每帧所述样本图像以及每帧所述样本图像对应的投影图像确定损失值；

当所述损失值大于预设阈值时，基于所述损失值进行反向传播，对所述神经网络进行网络参数更新以得到更新后的神经网络；

重复将所述多帧样本图像输入更新后的所述神经网络，得到每帧所述样本图像的一个三维重建图像，并将每帧所述样本图像的一个三维重建图像进行投影，得到每帧所述样本图像对应的投影图像的过程，直至利用每帧所述样本图像以及每帧所述样本图像对应的投影图像确定的损失值不大于所述预设阈值时，将所述神经网络确定为所述对象重建模型。

6.根据权利要求1-3任一所述的对象重建方法，其特征在于，

所述非固有特征信息为所述目标对象特征中会随视频播放发生变化的特征信息；

所述固有特征信息为所述目标对象特征中不会随视频播放发生变化的特征信息。