[发明专利]一种基于RGB‑D数据的室内场景语义标注方法

摘要

本发明涉及一种基于RGB‑D数据的室内场景语义标注方法，构建了一种基于RGB‑D数据由粗到精全局递归式反馈的语义标注框架，并将整个语义标注框架划分为粗粒度的区域级语义标签推断与细粒度的像素级语义标签求精两大部分；与传统单一的区域级或像素级语义标注框架不同，该框架重新建立粗粒度区域级语义标注与细粒度像素级语义标注间的联系，通过引入一种合理的全局递归式反馈的机制，使粗粒度区域级的语义标注结果与细粒度像素级的语义标注结果交替迭代更新优化。通过这种方式较好地融合了场景图像中不同区域层次的多模态信息，从一定程度上解决传统室内场景语义标注方案中普遍存在的难以合适地选择标注基元的问题。

主权项

一种基于RGB‑D数据的室内场景语义标注方法，利用基于RGB‑D信息的由粗到精、全局递归式反馈的语义标注框架进行室内场景图像的语义标注，其特征在于：该语义标注框架是由粗粒度的区域级语义标签推断与细粒度的像素级语义标签求精，交替迭代更新构成，包括如下步骤：步骤001.针对RGB‑D训练数据集合中的RGB图像进行过分割，获取该RGB图像中的超像素，形成训练数据的超像素集；步骤002.根据RGB‑D训练数据集合中的RGB图像和对应的深度图像，分别针对该训练数据的超像素集中的各个超像素做如下操作：求取对应超像素的各个区域特征单元，然后对该超像素的各个区域特征单元分别进行归一化处理，获得该超像素的各个归一化区域特征单元，最后将该超像素的各个归一化区域特征单元进行拼接，构成对应于该超像素的多模态特征向量；步骤003.针对该训练数据的超像素集中的各个超像素，根据RGB‑D训练数据集合中包含的基准标注信息，获取该各个超像素分别对应的类别标签；步骤004.针对该训练数据的超像素集中各个超像素分别对应的类别标签、多模态特征向量，分别整合构成分别对应于各个超像素的各个条目，并整合该训练数据中全部超像素分别所对应的各个条目，构成该训练数据的超像素集对应的语义标签池；步骤005.将获得的该训练数据的超像素集对应的语义标签池作为训练样本，训练随机决策森林分类器；步骤006.针对查询图像进行过分割，获取该查询图像中的超像素，形成查询图像的超像素集；并按步骤002中的方法，根据查询图像和对应的深度图像，针对该查询图像的超像素集中的各个超像素，分别求取对应超像素的多模态特征向量，构成该查询图像的超像素集对应的语义标签池；步骤007.采用已经训练的随机决策森林分类器，针对该查询图像的超像素集中的超像素进行语义标签推断，获得对应该查询图像的区域结构粗粒度级别标注图像；步骤008.针对获得对应该查询图像的区域结构粗粒度级别标注图像进行标签求精，获得对应该查询图像的细粒度级别标注图像；步骤009.针对获得对应该查询图像的细粒度级别标注图像，采用内部递归式反馈机制进行标签求精，获得该查询图像的最终细粒度级别标注图像；步骤010.根据获得该查询图像的最终细粒度级别标注图像，设计获得由粗粒度的区域级语义推断到细粒度的像素级语义求精的全局递归式反馈机制，将该查询图像的最终细粒度级别标注图像作为额外信息引入步骤001和步骤006中分别针对图像的过分割操作中，并根据该全局递归式反馈机制，返回步骤001依次执行各个步骤，且根据全局递归式反馈机制中的终止条件，获得该查询图像的最终标注图像。