[发明专利]三维特征嵌入的图像对象部件级语义分割方法与装置

说明书

本发明实施例提供一种三维特征嵌入的图像对象部件级语义分割方法与装置，所述方法包括：获取目标二维图像的三维特征信息；根据所述目标二维图像的三维特征信息和所述目标二维图像的二维特征信息，对所述目标二维图像进行部件级语义分割。本申请的技术方案，在对图像进行部件级语义分割时，不仅考虑了图像的二维特征信息，同时考虑了图像的三维特征信息，进而提高了图像部件级语义分割的准确性。

技术领域

本发明实施例涉及图像处理技术，尤其涉及一种三维特征嵌入的图像对象部件级语义分割方法与装置。

背景技术

对象部件语义信息对于很多视觉任务非常有用，例如类别之间差异很细微时的图像分类、细粒度的动作检测等。同时，对于很多涉及到交互的机器人任务来说，部件语义信息也必不可少。比如当一个机器人需要打开引擎盖修理汽车时，引擎盖需要能够被正确的识别出来，当一个机器人需要坐在椅子上时，椅子面要正确的识别出来。总而言之，部件语义信息对能够被用于完成很多视觉相关的任务。

目前的图像对象部件级语义分割方法，通常具有三个步骤：1)对于每个像素点，提取其特征；2)在提取的特征的基础上，通过分类器或者其它模型获得每个像素的属于各个语义类别标签的初始概率分布；3)构建条件随机场或者马尔科夫随机场对初始概率分布进行优化，得到每个像素点最终的语义类别信息。

但是，在图像拍摄过程中，当光照条件、对象和相机的相对位姿或角度不同时，或者对于同一类对象，当对象的表面材质、纹理属性等不同时，现有的图像对象部件级语义分割方法，无法正确地分割图像的对象部件。

发明内容

本发明实施例提供一种图像对象部件级语义分割方法与装置，以解现有的图像对象部件级语义分割方法，无法正确地分割图像的对象部件的问题。

第一方面，本发明实施例提供一种三维特征嵌入的图像对象部件级语义分割方法，包括：获取目标二维图像的三维特征信息；

根据所述目标二维图像的三维特征信息和所述目标二维图像的二维特征信息，对所述目标二维图像进行部件级语义分割。

第二方面，本发明实施例提供一种三维特征嵌入的图像对象部件级语义分割装置，包括：

获取模块，用于获取目标二维图像的三维特征信息；

处理模块，用于根据所述目标二维图像的三维特征信息和所述目标二维图像的二维特征信息，对所述目标二维图像进行部件级语义分割。

本发明实施例提供的三维特征嵌入的图像对象部件级语义分割方法与装置，通过获取目标二维图像的三维特征信息；并根据所述目标二维图像的三维特征信息和所述目标二维图像的二维特征信息，对所述目标二维图像进行部件级语义分割。即本实施例的方法，在对图像进行部件级语义分割时，不仅考虑了图像的二维特征信息，同时考虑了图像的三维特征信息，进而提高了图像部件级语义分割的准确性。

附图说明

图1为本发明实施例一提供的三维特征嵌入的图像对象部件级语义分割方法的流程图；

图2为本发明实施例二提供的三维特征嵌入的图像对象部件级语义分割方法的流程图；

图2(a)为完全预激活单元的结构示意图；

图2(b)为短路连接为卷积层的完全预激活单元的结构示意图；

图3为本发明实施例二提供中VolNet和GeoNet的结构示意图；

图4为本发明实施例二提供的三维特征嵌入的图像对象部件级语义分割方法的框架图；

图5为本发明实施例三提供的三维特征嵌入的图像对象部件级语义分割方法的流程图；

图6为本发明实施例三提供的透视体素化算法的坐标系示意图；