[发明专利]融合多粒度上下文信息的图像像素语义标注方法

说明书

本发明涉及图像智能识别领域，具体涉及到融合多粒度上下文信息对图像进行像素语义标注的方法。本发明对图像标注结果与视觉特征之间的关系进行分析和统计，通过细粒度上下文描述和标注平滑参数构成细粒度位置对标注模型，用以表征语义标签在局部区域内的传递特点，同时，利用粗粒度上下文描述符和语义共生参数，构成粗粒度位置对标注模型，用以描述图像中蕴含的语义类别共生关系，采用二阶条件随机场模型将单位置标注模型和两种位置对标注模型结合，使得标注模型融合了丰富的图像信息，具有较高的图像标注精确度，然后采用piecewise方法结合训练数据对模型参数进行分段并行训练，提高了训练效率。

技术领域

本发明涉及图像智能识别领域，具体涉及到融合多粒度上下文信息对图像进行像素语义标注的方法。

背景技术

随着图像处理与分析技术的日益进步，计算机性能的逐步提高以及图像数量的不断增长，如何使计算机能像人一样看见和理解世界成为计算机视觉的一个重要研究目标。通过计算机编程让计算机自动解释图片的内容以实现图像理解是人工智能和计算机视觉领域的挑战之一。

图像理解的研究内容和技术路线目前主要分为三种方式，一类是对图像整体进行语义标注，使用一定量的标签提供图像的高层语义分类，对图像标出“城市”、“落日”等关键词作为图像的语义标签，但是不明确地识别图像中目标的具体位置。

另一类是采用目标检测识别出图像中的离散目标，例如“汽车”、“牛”，在目标周围形成一个边界框来进行目标定位，但是这种方法没有给出目标的详细轮廓，也无法推断出图像的整体内容。

第三类是为整幅图像生成像素级的标注，假设每个像素属于单一的感兴趣类别，而且该类别可以被无歧义地识别出来，将图像按照目标和背景的类别分别为每一像素设置一个语义标签，这一类最接近图像理解这一长期目标，成为图像理解最热门的研究内容。

在图像像素级标注过程中，单独处理每个像素会产生标注结果不一致的现象，像素视觉特征之间的关系以及语义标注之间的关系是图像理解不可忽视的关键内容。如何将图像中的上下文信息充分地融入图像标注模型以提高标注效果，是图像理解领域一直以来重点研究的核心问题。

发明内容

本发明的目的在于提供一种利用多粒度上下文信息的图像标注方法，解决图像标注模型在满足局部标注连续性的基础上，同时具有辨识易混淆特征能力的问题。

本发明是采用如下技术方案实现的：

一种融合多粒度上下文信息的图像像素语义标注方法，包括如下步骤：

(1)将图像划分为网格图像，针对任意网格位置i，构造一个颜色、纹理、形状特征组成的特征向量Y_i，得到特征向量集合Y＝{Y_i|i∈N}，N为位置的数量，Y_i表示位置i的特征向量；

(2)设θ为特征权重参数，设与特征向量集合对应的标注集合为L＝{L_i|i∈N}，其中L_i表示位置i的语义标签，采用逻辑回归分类器构造softmax函数，利用所有的特征向量和权值参数统计每个位置所属语义类别的代价，建立图像语义的单位置标注模型；

(3)确定细粒度上下文信息在图像标注中的作用，具体如下：

a)以任意网格位置i为中心，设置其细粒度上下文窗口η_i¹，将中心位置i与其在细粒度窗口中相邻的其他位置两两组合，用j表示i的相邻位置，利用所有位置对(i,j)的合并特征构成细粒度上下文描述符f_ij；