[发明专利]一种联合全局特征和局部特征的场景识别方法及装置

说明书

本申请公开了一种联合全局特征和局部特征的场景识别方法及装置，涉及计算机视觉领域。所述方法包括：特征提取：对于训练数据集的每个图像，提取DAISY特征作为局部特征，提取HOG特征作为图像的全局特征；图像编码：利用与每个关键点相对应的局部DAISY特征将每个图像编码为视觉词的直方图；构建池化器：采用DAISY直方图特征作为第一层，采用L2归一化后的全局特征作为第二层，且两层串联形成混合特征；场景识别：利用混合特征对分类器进行训练以形成最终的场景识别器，利用该场景识别器进行场景识别。所述装置包括：特征提取模块、图像编码模块、池化器构建模块和场景识别模块。上述方法及装置能够提升场景识别的准确率。

技术领域

本申请涉及计算机视觉领域，特别是涉及一种联合全局特征和局部特征的场景识别方法及装置。

背景技术

场景识别是计算机视觉领域的热点问题，研究目标是处理视频或图像信息并自动识别视频或图像中的场景信息，具有丰富的应用领域，例如自动监视、人机交互、视频索引、图像索引等。

对场景识别中的特征提取类型进行分类，可以分为三类，即底层特征方法、中层语义方法和高层特征方法。底层特征是指描述图像颜色、形状、纹理等基本特征，这种类型的特征形式简单且较容易获取，它将场景视作一个有结构和形状物体，通过分析光谱信息，表示场景的整体信息，这种特征适合用于复杂度较低的室外场景识别。中层语义是对特征进行组合形成一种新的特征的方法，它的目标是解决特征和语义之间存在的语义鸿沟，该方法一般依赖视觉词袋模型实现，中层语义方法的主要缺点是忽略了空间信息，另外该方法的识别效果很大程度上取决于所选特征的性能。高层特征是一种更复杂也更接近图像语义的特征，它一般是在底层特征的基础上组合构建而成，相对于底层特征，高层特征更富有表现力，也能处理类别数较多的场景分类问题，高层特征更接近于图像的真实语义，也包含更多的场景信息，但是高层特征一般维度较高，计算和提取也更为复杂，不过随着运算能力的提升和场景识别问题变得更加复杂，在场景识别问题上，高层特征的使用也将会是未来的发展趋势之一。

由此可以看到，三种类型的特征提取方法各有其优缺点，可以根据不同的应用需求采用不同的特征提取方法，在传统的场景识别方法，一般多使用底层特征或者高层特征，这些方法易于理解并且简单易行。但这三种特征提取方法都没有全面考虑图像的特征信息，无法表示更丰富的图像场景信息，降低了场景识别的准确率。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面，提供了一种联合全局特征和局部特征的场景识别方法，包括：

特征提取：对于训练数据集的每个图像，提取对应于从图像中检测到的关键点的DAISY特征，并将所述的DAISY特征作为图像的局部特征，以不同的粒度提取对应于整个图像的标准HOG特征，并将所述的HOG特征作为图像的全局特征；

图像编码：利用与每个关键点相对应的局部DAISY特征将每个图像编码为视觉词的直方图；

构建双层的池化器：采用DAISY直方图特征作为所述池化器的第一层，采用L2归一化后的全局特征作为所述池化器的第二层，且所述的L2归一化后的全局特征与相应的DAISY直方图特征串联形成混合特征；所述的DAISY直方图特征的构建方法为：根据DAISY特征，通过表示每个图像中每个视觉词的频率来构建直方图，选择图像中的每个关键点，确定与所述的关键点对应的DAISY特征，然后查找与所述的DAISY特征对应的簇ID，对得到的直方图进行L2归一化，形成DAISY直方图特征；

场景识别：利用混合特征对分类器进行训练以形成最终的场景识别器，利用所述的场景识别器进行场景识别。

可选地，所述的DAISY特征利用python中的skimage库进行特征提取。

可选地，所述的利用与每个关键点相对应的局部DAISY特征将每个图像编码为视觉词的直方图包括：