[发明专利]基于单目图像生成三维对象模型的方法

说明书

本公开涉及一种基于单目图像生成三维对象模型的方法，该方法包括：对单目图像进行对象检测和对象边界框的识别，得到至少一个目标对象的对象图块；对每个对象图块进行特征提取，得到第一特征图和第二特征图，二者具有相同的通道数且第一特征图的像素规模小于第二特征图的像素规模；根据第一特征图，对参数化对象模型的相机、姿态和形状参数进行初始化，得到初始对象模型；根据初始化的相机、姿态和形状参数以及第二特征图，生成图结构对应的图节点特征；根据初始对象模型的顶点坐标关系，生成图结构对应的邻接矩阵；将图节点特征和邻接矩阵输入至参数预先训练好的图神经网络模型中，输出回归预测参数；根据回归预测参数渲染得到三维对象模型。

技术领域

本公开涉及图像处理技术领域，尤其涉及一种基于单目图像生成三维对象模型的方法。

背景技术

在很多应用场景中，需要获取单目摄像头拍摄得到的红绿蓝三通道图像（RGB图像），然后对RGB图像进行图像处理来得到图像中所包含的人、动物、物体（例如车辆、无人机、智能机器人）等对象的形状和姿态，进而利用对应的参数化对象模型来重建出与上述各个对象的姿态和形状相对应的三维对象模型。例如，通过单目RGB图像重建得到的三维人体模型能够被直接或间接地应用于教育、金融、体育和娱乐等诸多领域，在虚拟现实内容创作、图像编辑和重演、全息传送会议和虚拟试衣等场景中均有广泛的应用前景。

对二维图像数据进行处理以生成三维对象模型的过程中，大致有优化和回归两类方法，然而，基于优化的方法通常依赖于初始模型的设置，在拟合过程中需要精确的二维观测量和参数先验项，并且其复杂的非线性迭代优化过程通常比较耗时；基于回归的方法利用深度神经网络学习从二维图像到三维人体模型之间的非线性映射，即直接从二维人体图像中推断三维人体模型的形状和姿态参数，得到的模型的精确度有待于进一步提升。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开的实施例提供了一种基于单目图像生成三维对象模型的方法。

第一方面，本公开的实施例提供了一种基于单目图像生成三维对象模型的方法。上述方法包括：对包含目标对象的单目图像进行对象检测和对象边界框的识别，得到至少一个目标对象的对象图块；对每个对象图块进行特征提取，得到对应于每个对象图块的第一特征图和第二特征图，上述第一特征图和上述第二特征图具有相同的通道数且上述第一特征图的像素规模小于上述第二特征图的像素规模；根据上述第一特征图，对参数化对象模型的相机参数、姿态参数和形状参数进行初始化，得到初始对象模型；根据初始化的相机参数、姿态参数和形状参数以及上述第二特征图，生成携带有对象空间结构信息的图结构对应的图节点特征；根据上述初始对象模型的顶点坐标之间的关系，生成上述图结构对应的邻接矩阵；将上述图节点特征和上述邻接矩阵输入至参数预先训练好的图神经网络模型中，输出得到与上述相机参数、姿态参数和形状参数的各个维度对应的回归预测参数；以及根据上述回归预测参数来渲染得到与每个对象图块对应的三维对象模型。

根据本公开的实施例，上述根据初始化的相机参数、姿态参数和形状参数以及上述第二特征图，生成携带有对象空间结构信息的图结构对应的图节点特征，包括：对上述初始对象模型的顶点坐标进行稀疏采样，得到采样顶点坐标集合；根据初始化的相机参数，将上述采样顶点坐标集合投影至与上述第一特征图具有相同像素规模的二维平面，得到第一坐标投影集合；将上述第一坐标投影集合变换至与上述第二特征图具有相同像素规模的二维平面，得到第二坐标投影集合；对上述第二坐标投影集合中各个采样顶点的坐标投影和上述第二特征图进行图特征提取，得到图结构的初始图节点特征；以及将上述初始图节点特征与初始化的相机参数、姿态参数和形状参数进行拼接，得到上述图结构的图节点特征。