[发明专利]图像处理方法及装置

权利要求书

1.一种图像处理方法，其特征在于，所述方法包括：

获得第一对象的视角构图模型，所述视角构图模型具备从世界坐标系下的视角和位置向图像坐标系下所述第一对象的图像数据映射的功能，所述视角构图模型和对象是一对一的关系；

以多个预先指定的视角为所述视角构图模型的输入，获得所述视角构图模型输出的所述第一对象在所述预先指定的视角下多个位置的图像数据；

基于所述第一对象在所述预先指定的视角下多个位置的图像数据，得到所述第一对象在所述预先指定的视角下的图像；

从所述第一对象在所述预先指定的视角下的图像中选择目标视角下的图像；

从所述目标视角下的图像中选择目标区域对应的图像。

2.根据权利要求1所述的方法，其特征在于，所述第一对象的视角构图模型是基于所述第一对象的多张图像、拍摄所述第一对象的图像时的相机位姿和相机内参训练得到。

3.根据权利要求1或2所述的方法，其特征在于，所述第一对象的视角构图模型的训练过程包括：

获取训练视角，所述训练视角是训练所述视角构图模型时使用的视角，且所述训练视角是基于相机位姿和所述相机位姿对应的相机内参得到；

将所述训练视角和所述训练视角下的多个位置输入到所述视角构图模型中，得到所述视角构图模型输出的所述训练视角下每个位置的图像数据；

基于所述训练视角下每个位置的图像数据，合成所述训练视角下所述第一对象的图像；

基于所述训练视角下所述第一对象的图像、所述相机位姿下拍摄到的所述第一对象的图像和第一损失函数，调整所述视角构图模型的模型参数，以获得所述视角构图模型。

4.根据权利要求1或2所述的方法，其特征在于，所述第一对象的视角构图模型包括图像数据获取层、体积渲染层和视角筛选层；

所述图像数据获取层具备从世界坐标系下的视角和位置向图像坐标系下的图像数据映射的功能；

所述体积渲染层具备基于所述图像数据生成图像的功能；

所述视角筛选层具备从多个视角下的图像中选择目标视角下的图像的功能。

5.根据权利要求4所述的方法，其特征在于，所述图像数据获取层的训练过程包括：

获取训练视角，所述训练视角是训练所述图像数据获取层时使用的视角，且所述训练视角是基于相机位姿和所述相机位姿对应的相机内参得到；

将所述训练视角和所述训练视角下的多个位置输入到所述图像数据获取层中，得到所述图像数据获取层输出的所述训练视角下每个位置的图像数据；

调用所述体积渲染层基于所述训练视角下每个位置的图像数据，合成所述训练视角下所述第一对象的图像；

基于所述训练视角下所述第一对象的图像、所述相机位姿下拍摄到的所述第一对象的图像和第一损失函数，调整所述图像数据获取层的模型参数。

6.根据权利要求4所述的方法，其特征在于，所述视角筛选层的训练过程包括：

调用所述视角筛选层对所述体积渲染层输出的第一对象的图像进行美学评分预测，得到所述视角筛选层输出的第一对象的图像的预测得分；

调用美学评价模型对所述体积渲染层输出的第一对象的图像进行美学评分计算，得到所述美学评价模型输出的第一对象的图像的美学得分；

基于所述视角筛选层输出的第一对象的图像的预测得分、所述美学评价模型输出的第一对象的图像的美学得分和第三损失函数，调整所述视角筛选层的模型参数。

7.根据权利要求6所述的方法，其特征在于，所述视角筛选层的输入为所述第一对象在多个视角下的图像，所述视角筛选层的输出为所述第一对象在多个视角下的图像的美学得分。