[发明专利]融合多粒度上下文信息的图像像素语义标注方法

摘要

本发明涉及图像智能识别领域，具体涉及到融合多粒度上下文信息对图像进行像素语义标注的方法。本发明对图像标注结果与视觉特征之间的关系进行分析和统计，通过细粒度上下文描述和标注平滑参数构成细粒度位置对标注模型，用以表征语义标签在局部区域内的传递特点，同时，利用粗粒度上下文描述符和语义共生参数，构成粗粒度位置对标注模型，用以描述图像中蕴含的语义类别共生关系，采用二阶条件随机场模型将单位置标注模型和两种位置对标注模型结合，使得标注模型融合了丰富的图像信息，具有较高的图像标注精确度，然后采用piecewise方法结合训练数据对模型参数进行分段并行训练，提高了训练效率。

主权项

一种融合多粒度上下文信息的图像像素语义标注方法，其特征在于包括下列步骤：(1)将图像划分为网格图像，针对任意网格位置i，构造一个颜色、纹理、形状特征组成的特征向量Y_i，得到特征向量集合Y＝{Y_i|i∈N}，N为位置的数量，Yi表示位置i的特征向量；(2)设θ为特征权重参数，设与特征向量集合对应的标注集合为L＝{L_i|i∈N}，其中L_i表示位置i的语义标签，采用逻辑回归分类器构造softmax函数，利用所有的特征向量和权值参数统计每个位置所属语义类别的代价，建立图像语义的单位置标注模型；(3)确定细粒度上下文信息在图像标注中的作用，具体如下：a)以任意网格位置i为中心，设置其细粒度上下文窗口将中心位置i与其在细粒度窗口中相邻的其他位置两两组合，用j表示i的相邻位置，利用所有位置对(i,j)的合并特征构成细粒度上下文描述符f_ij；b)用L_i和L_j分别表示位置i和j的语义标注结果，在细粒度窗口中考虑相邻位置的语义标注类别的连续性，为细粒度上下文描述符设置标注平滑参数α，当L_i为语义标注中的第m类，而L_j为语义标注中的第n类，即L_i≠L_j时，设其标注平滑参数α_mn为0，因此，细粒度上下文窗口中的标注平滑参数仅与相同语义类别的位置对相关；c)针对具有相同语义类别的位置对，利用标注平滑参数和细粒度上下文描述符对中的位置对建立标注模型，得到基于细粒度的双位置标注模型；(4)确定粗粒度上下文信息在图像标注中的作用，具体如下：a)将每个以网格位置i为中心，面积为16×16grids～20×20grids的区域划分为8个子区域，这8个子区域构成粗粒度上下文窗口其中每个子区域被视作一个整体，作为i的相邻粗粒度位置其中o＝1,2,…,8；b)中心位置i的粗粒度上下文窗口中，粗粒度位置内的合并特征构成粗粒度上下文特征描述符f_i^o，粗粒度位置内蕴含的每类语义类别似然映射的最大值集合构成粗粒度上下文共生描述符由粗粒度上下文特征描述符f_i^o和粗粒度上下文共生描述符组合构成粗粒度上下文描述符；利用粗粒度上下文描述符，统计所有粗粒度位置中语义类别的共生关系；c)设置语义共生参数β，结合粗粒度上下文描述符对中的位置对的标注结果进行建模，得到基于粗粒度的双位置标注模型；(5)将单位置标注模型和基于粗细粒度两种双位置标注模型结合，建立融合多粒度上下文信息的二阶条件随机场模型；(6)将已知的标注集合L和特征向量集合Y作为训练集，采用piecewise训练方法对二阶条件随机场模型进行训练，得到合适的模型参数具体如下：a)利用随机赋值对二阶条件随机场模型参数进行初始化，得到模型初始化参数λ_initial＝(θ,α,β)；b)根据λ_initial＝(θ,α,β)，利用所有的特征向量集合Y和已知的标注集合L，采用极大似然估计迭代计算P(L|Y,λ)的对数损失函数，利用piecewise训练方式对二阶条件随机场模型进行分段并行训练，直到收敛，此时，为所求的模型参数；(7)在确定融合多粒度上下文信息的二阶条件随机场模型参数的基础上，对未标注图像进行网格划分，根据提取的特征向量，利用边缘最大后验概率求得与未标注图像对应的最优标注集合，将最优标注集合结合相应的图像位置，在图像上输出最终的标注结果。