[发明专利]基于多语义码本图像特征表示方法

摘要

本发明涉及一种基于多语义码本图像特征表示方法，所述方法对于输入训练集合中的图像，做如下处理：第一步：在输入图像上密集计算图像局部特征，并将所有的局部特征按照给定的语义标注分成若干类别；第二步：根据第一步的多个语义类别的局部特征建立联合学习的优化问题，求解得到一个全局码本和多个语义码本；第三步：利用各个语义类别的局部特征，对每个语义类别训练相应的语义分类器；第四步：利用全局码本和语义码本、语义分类器对图像进行基于上下文的特征量化和语义聚合，最终表示成图像特征向量，即图像表示。实验证明本方法能够更精细地表示图像的视觉特征，在场景识别上相比传统方法具有更高的准确度。

主权项

1.一种基于多语义码本图像特征表示方法，其特征在于：所述方法对于输入训练集合中的图像，做如下处理：第一步：在输入图像上密集计算图像局部特征，并将所有的局部特征按照给定的语义标注分成若干类别；第二步：根据第一步的多个语义类别的局部特征建立多个语义码本联合学习优化问题的目标方程，求解得到一个全局码本和多个语义码本；(1)在图像中多个位置多个尺度密集计算大量局部特征，记为其中x_i是第i个图像局部特征向量，维度为D，N是全部局部特征的数量；每个局部特征都由注释提供一个语义类别标签，属于第s类语义的局部特征集合记为Ns是第s类语义的特征数量，S是语义类别数目；(2)全局码本记为B＝{b₁,…,b_K}，其中b_i是第i个码字，是一个D维向量，全局码本的码字总数为K；每个语义码本都是全局码本的一个子集，第s个语义码本码字的下标集合记为优化的目标方程为其中第一项为聚类误差项，它描述了每一个语义类别下的局部特征到离它最近的码字的平均距离，准确的码字设置应使得码字尽量接近特征分布的中心；λ是稀疏系数，λ越大则语义码本的码子越稀疏，其中是特征x在被π索引的码本B下的聚类误差具体定义为第二项为语义码本的稀疏项，其中是某个局部特征，j是语义码字的标号，它是每个语义码本码字数量的均值；根据信号表示的特点，码字越稀疏表示的开销越低，其中|π_s|是表示集合π中的元素数量；第三步：利用各个语义类别的局部特征，对每个语义类别训练相应的语义分类器；第四步：利用全局码本和语义码本、语义分类器对图像进行基于上下文的特征量化和语义聚合，最终表示成图像特征向量，即图像表示。