[发明专利]对象渲染方法、装置、电子设备及存储介质

说明书

本公开提供了一种对象渲染方法、装置、电子设备及存储介质，该方法包括：获取待渲染对象对应的参数化模型；参数化模型由预先获取的多个原始图像构建得到；多个原始图像为在不同源视角下分别采集的所述待渲染对象的图像；基于目标视角，从参数化模型对应的三维空间中确定多个空间点，并针对每个空间点，基于空间点的位置信息、参数化模型和多个原始图像，生成空间点对应的、与每个源视角匹配的目标特征向量；基于空间点对应的多个目标特征向量、和空间点在每个原始图像上投影点的候选色彩信息，生成空间点对应的体密度和目标色彩信息；基于各个空间点分别对应的体密度和目标色彩信息，生成待渲染对象在目标视角下的渲染图像。

技术领域

本公开涉及计算机视觉技术领域，具体而言，涉及一种对象渲染方法、装置、电子设备及存储介质。

背景技术

随着科技的进步，自由视角的视频被广泛应用于电影摄制、三维沉浸式通讯、增强现实(Augmented Reality，AR)和虚拟现实(Virtual Reality，VR)等场景中。

一般的，自由视角视频的生成环境较为复杂，比如生成环境需要专业的摄影环境、较多的视角等等，使得自由视角视频的生成较为困难。

发明内容

有鉴于此，本公开至少提供一种对象渲染方法、装置、电子设备及存储介质。

第一方面，本公开提供了一种对象渲染方法，包括：

获取待渲染对象对应的参数化模型；所述参数化模型由预先获取的多个原始图像构建得到；所述多个原始图像为在不同源视角下分别采集的所述待渲染对象的图像；

基于目标视角，从所述参数化模型对应的三维空间中确定多个空间点，并针对每个所述空间点，基于所述空间点的位置信息、所述参数化模型和所述多个原始图像，生成所述空间点对应的、与每个所述源视角匹配的目标特征向量；所述目标特征向量包括空间点在对应源视角下的视觉特征；

基于所述空间点对应的多个所述目标特征向量、和所述空间点在每个所述原始图像上投影点的候选色彩信息，生成所述空间点对应的体密度和目标色彩信息；

基于各个所述空间点分别对应的所述体密度和所述目标色彩信息，生成所述待渲染对象在所述目标视角下的渲染图像。

上述方法中，实现了利用待渲染对象的多个源视角下的原始图像，生成任意目标视角的渲染图像，渲染过程无需依赖专业摄影环境，渲染过程较稳定和较高效。本公开中使用了待渲染对象对应的参数化模型，该参数化模型为表征待渲染对象姿态的几何形状的模型，利用该参数化模型能够泛化任意未知的人体和未知的人体体态；且该参数化模型是通过多个原始图像确定模型参数后生成的，与通过使用深度相机或其他几何扫描仪对人体进行三维建模得到人体三维模型的方式相比，本公开建立参数化模型的过程重点关注待渲染对象的姿态，无需关注与姿态无关的其他信息比如服饰信息、发型信息等，参数化模型的确定方式较高效和简便。

同时，本公开中使用参数化模型和空间点的位置信息，确定空间点对应的与每个源视角匹配的目标特征向量，实现将空间点相对于参数化模型的隐式几何特征嵌入至目标特征向量，使得目标特征向量能够表征待渲染对象姿态特征；以及利用空间点的位置信息和原始图像，实现将原始图像中的视觉特征嵌入至目标特征向量，该视觉特征比如包括待渲染对应的穿着特征、外饰特征等，使得目标特征向量能够表征待渲染对象的穿着、外饰等特征。并利用空间点对应的多个目标特征向量和空间点在每个原始图像上投影点的候选色彩信息，较准确的确定空间点对应的体密度和目标色彩信息。并利用各个空间点分别对应的体密度和目标色彩信息，较准确的生成待渲染对象在目标视角下的渲染图像，得到的渲染图像的图像质量较佳。

一种可能的实施方式中，所述基于所述空间点的位置信息、所述参数化模型和所述多个原始图像，生成所述空间点对应的、与每个所述源视角匹配的目标特征向量，包括：

基于所述空间点的位置信息和所述参数化模型，生成所述空间点对应的第一特征向量；以及