[发明专利]图像生成方法、装置、设备和计算机可读介质

权利要求书

1.一种图像生成方法，包括：

对获取到的显示有目标物体的待处理图像进行编码，得到隐变量；

提取所述隐变量中包含的特征数据，其中，所述特征数据包括材质特征数据；

基于所述特征数据进行渲染，得到渲染图像。

2.根据权利要求1所述的方法，其中，所述对获取到的显示有目标物体的待处理图像进行编码，得到隐变量，包括：

对所述待处理图像进行掩膜处理，得到目标物体图像；

将所述目标物体图像输入到预训练的特征数据提取模型中的编码网络，得到所述隐变量，其中，所述特征数据提取模型包括编码网络和至少一个特征提取子网络。

3.根据权利要求2所述的方法，其中，所述提取所述隐变量中包含的特征数据，包括：

将所述隐变量分别输入到所述至少一个特征提取子网络，将所述至少一个特征提取子网络所输出的结果作为所述特征数据。

4.根据权利要求3所述的方法，其中，所述至少一个特征提取子网络包括：光照特征提取子网络、颜色特征提取子网络、材质特征提取子网络、法向量特征提取子网络及深度特征提取子网络；以及

将所述隐变量分别输入到所述至少一个特征提取子网络，将所述至少一个特征提取子网络所输出的结果作为所述特征数据，包括：

将所述隐变量输入到所述光照特征提取子网络，得到光照特征数据；

将所述隐变量输入到所述颜色特征提取子网络，得到颜色特征数据；

将所述隐变量输入到所述材质特征提取子网络，得到材质特征数据；

将所述隐变量输入到所述法向量特征提取子网络，得到法向量特征数据；

将所述隐变量输入到所述深度特征提取子网络，得到深度特征数据。

5.根据权利要求2所述的方法，其中，所述特征数据提取模型通过以下步骤训练得到：

获取样本集，其中，所述样本集中的样本包括显示有目标物体的样本图像以及所述样本图像所对应的样本特征数据，其中，所述样本特征数据包括样本材质特征数据；

从所述样本集中选取样本，以及执行以下训练步骤：

将所述样本中的样本图像输入初始模型，生成所述样本图像的预测特征数据；

基于所述预测特征数据，渲染图像，得到预测图像；

将所述预测特征数据与所述样本特征数据进行分析，确定特征损失值；

将所述预测图像与所述样本图像进行分析，确定图像损失值；

根据预设的特征权重和图像权重，将所述特征损失值及图像损失值的加权结果作为样本总损失值，以及将所述样本总损失值与目标值进行比较；

根据比较结果确定初始模型是否训练完成；

响应于确定初始模型训练完成，将初始模型确定为特征数据提取模型。

6.根据权利要求5所述的方法，其中，所述方法还包括：

响应于确定初始模型未训练完成，调整初始模型中的相关参数，以及从所述样本集中重新选取样本，使用调整后的初始模型作为初始模型，继续执行所述训练步骤。

7.一种图像生成装置，包括：

编码单元，被配置成对获取到的显示有目标物体的待处理图像进行编码，得到隐变量；

提取单元，被配置成提取所述隐变量中包含的特征数据，其中，所述特征数据包括材质特征数据；

渲染单元，被配置成基于所述特征数据进行渲染，得到渲染图像。

8.根据权利要求7所述的装置，其中，所述编码单元进一步被配置成：

对所述待处理图像进行掩膜处理，得到目标物体图像；

将所述目标物体图像输入到预训练的特征数据提取模型中的编码网络，得到所述隐变量，其中，所述特征数据提取模型包括编码网络和至少一个特征提取子网络。

9.根据权利要求8所述的装置，其中，所述提取单元进一步被配置成：

将所述隐变量分别输入到所述至少一个特征提取子网络，将所述至少一个特征提取子网络所输出的结果作为所述特征数据。