[发明专利]三维特征嵌入的图像对象部件级语义分割方法与装置

权利要求书

1.一种三维特征嵌入的图像对象部件级语义分割方法，其特征在于，包括：

获取目标二维图像的三维特征信息；

根据所述目标二维图像的三维特征信息和所述目标二维图像的二维特征信息，对所述目标二维图像进行部件级语义分割；

获取目标二维图像的三维特征信息，具体包括：

获取三维模型库中各三维模型对应的二维图像和所述各三维模型对应的三维体素模型；

将各三维体素模型作为第一神经网络模型的输入，将所述各三维模型对应的三维特征作为所述第一神经网络模型的理想输出，对所述第一神经网络模型进行训练；

将各二维图像作为第二神经网络模型的输入，将训练好的所述第一神经网络模型的每层输出作为所述第二神经网络模型对应层的理想输出，对所述第二神经网络模型进行训练；

向训练好的所述第二神经网络模型中输入所述目标二维图像，获得所述目标二维图像的三维特征信息。

2.根据权利要求1所述的方法，其特征在于，所述第一神经网络模型和所述第二神经网络模型均为基于二维卷积的神经网络模型。

3.根据权利要求2所述的方法，其特征在于，所述将各三维体素模型作为第一神经网络模型的输入之前，所述方法还包括：

基于残差网络和有洞卷积设计所述第一神经网络模型；

所述将各二维图像作为第二神经网络模型的输入之前，所述方法还包括：

根据所述第一神经网络模型设计所述第二神经网络模型，所述第二神经网络模型逼近所述第一神经网络模型。

4.根据权利要求3所述的方法，其特征在于，所述将各三维体素模型作为第一神经网络模型的输入，具体包括：

在所述三维体素模型的深度方向上对所述三维体素模型进分割，获得不同深度方向上的二维体素图像，将各二维体素图像作为所述第一神经网络模型的输入。

5.根据权利要求1所述的方法，其特征在于，所述获取三维模型库中各三维模型对应的二维图像和所述各三维模型对应的三维体素模型，具体包括：

根据透视投影法，获得所述各三维模型对应的二维图像；

根据三维透视体素化法，获得所述各三维模型对应的三维体素模型；其中，所述三维透视体素化法包括：当所述三维模型对应的体素在所述三维模型内部或者与所述三维模型表面相交时，将所述体素设置为1，否则将所述体素设置为0。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述将各三维体素模型作为第一神经网络模型的输入之前，所述方法还包括：

对所述各三维体素模型进行压缩，将压缩后的所述各三维体素模型输出所述第一神经网络模型中。

7.根据权利要求1所述的方法，其特征在于，训练好的所述第一神经网络模型的每层输出与所述第二神经网络模型的对应层输出满足均方差损失。

8.根据权利要求3所述的方法，其特征在于，所述第一神经网络模型包括n个完全预激活单元；

所述第二神经网络模型包括一个卷积层、一个规范层、一个激活函数层、一个最大池化层和m个完全预激活单元，所述n大于所述m，所述n和所述m均为大于等于1的正整数。

9.一种图像对象部件级语义分割装置，其特征在于，包括：

获取模块，用于获取目标二维图像的三维特征信息；

处理模块，用于根据所述目标二维图像的三维特征信息和所述目标二维图像的二维特征信息，对所述目标二维图像进行部件级语义分割；

所述获取模块包括：获取单元、第一训练单元和第二训练单元；

所述获取单元，用于获取三维模型库中各三维模型对应的二维图像和所述各三维模型对应的三维体素模型；

所述第一训练单元，用于将各三维体素模型作为第一神经网络模型的输入，将所述各三维模型对应的三维特征作为所述第一神经网络模型的理想输出，对所述第一神经网络模型进行训练；

所述第二训练单元，用于将各二维图像作为第二神经网络模型的输入，并将所述第一训练单元训练好的所述第一神经网络模型的每层输出作为所述第二神经网络模型对应层的理想输出，对所述第二神经网络模型进行训练；

所述获取单元，还用于向训练好的所述第二神经网络模型中输入所述目标二维图像，获得所述目标二维图像的三维特征信息。