[发明专利]基于单目图像生成三维对象模型的方法

权利要求书

1.一种基于单目图像生成三维对象模型的方法，其特征在于，包括：

对包含目标对象的单目图像进行对象检测和对象边界框的识别，得到至少一个目标对象的对象图块；

对每个对象图块进行特征提取，得到对应于每个对象图块的第一特征图和第二特征图，所述第一特征图和所述第二特征图具有相同的通道数且所述第一特征图的像素规模小于所述第二特征图的像素规模；

根据所述第一特征图，对参数化对象模型的相机参数、姿态参数和形状参数进行初始化，得到初始对象模型；

根据初始化的相机参数、姿态参数和形状参数以及所述第二特征图，生成携带有对象空间结构信息的图结构对应的图节点特征；

根据所述初始对象模型的顶点坐标之间的关系，生成所述图结构对应的邻接矩阵；

将所述图节点特征和所述邻接矩阵输入至参数预先训练好的图神经网络模型中，输出得到与所述相机参数、姿态参数和形状参数的各个维度对应的回归预测参数；以及

根据所述回归预测参数来渲染得到与每个对象图块对应的三维对象模型。

2.根据权利要求1所述的方法，其特征在于，所述根据初始化的相机参数、姿态参数和形状参数以及所述第二特征图，生成携带有对象空间结构信息的图结构对应的图节点特征，包括：

对所述初始对象模型的顶点坐标进行稀疏采样，得到采样顶点坐标集合；

根据初始化的相机参数，将所述采样顶点坐标集合投影至与所述第一特征图具有相同像素规模的二维平面，得到第一坐标投影集合；

将所述第一坐标投影集合变换至与所述第二特征图具有相同像素规模的二维平面，得到第二坐标投影集合；

对所述第二坐标投影集合中各个采样顶点的坐标投影和所述第二特征图进行图特征提取，得到图结构的初始图节点特征；

将所述初始图节点特征与初始化的相机参数、姿态参数和形状参数进行拼接，得到所述图结构的图节点特征。

3.根据权利要求1所述的方法，其特征在于，根据所述初始对象模型的顶点坐标之间的关系，生成所述图结构对应的邻接矩阵，包括：

对所述初始对象模型的顶点坐标进行稀疏采样，得到采样顶点坐标集合；根据初始化的相机参数，将所述采样顶点坐标集合投影至与所述第一特征图具有相同像素规模的二维平面，得到第一坐标投影集合；根据所述第一坐标投影集合中任意两个顶点之间的欧式距离是否超过对应的设定阈值来确定任意两个顶点之间是否存在边，以得到所述图结构的邻接矩阵；或者，

对所述初始对象模型的顶点坐标进行稀疏采样，得到采样顶点坐标集合；根据初始化的相机参数，将所述采样顶点坐标集合投影至与所述第一特征图具有相同像素规模的二维平面，得到第一坐标投影集合；将所述第一坐标投影集合变换至与所述第二特征图具有相同像素规模的二维平面，得到第二坐标投影集合；根据所述第二坐标投影集合中任意两个顶点之间的欧式距离是否超过对应的设定阈值来确定任意两个顶点之间是否存在边，以得到所述图结构的邻接矩阵；或者，

对所述初始对象模型的顶点坐标进行稀疏采样，得到采样顶点坐标集合；根据初始化的相机参数，将所述采样顶点坐标集合投影至与所述第二特征图具有相同像素规模的二维平面，得到第二坐标投影集合；根据所述第二坐标投影集合中任意两个顶点之间的欧式距离是否超过对应的设定阈值来确定任意两个顶点之间是否存在边，以得到所述图结构的邻接矩阵。

4.根据权利要求1所述的方法，其特征在于，所述对每个对象图块进行特征提取，得到对应于每个对象图块的第一特征图和第二特征图，包括：

对每个对象图块进行尺寸转换处理，得到用于输入至图像特征提取模型中的具有预设像素尺寸的规范图像；

将所述规范图像输入至所述图像特征提取模型中进行特征提取，输出得到初始特征图；

将所述初始特征图输入至第一层反卷积层，输出得到第一特征图；

将所述第一特征图输入至第二层反卷积层，输出得到第二特征图。