[发明专利]一种多目标图像的缩略图生成方法

说明书

本发明致力于针对多目标图像生成高质量的缩略图，属于图像处理、图像分析、计算机视觉领域。所述方法包括以下步骤：(1)结合目标识别网络和显著性检测网络，输入图像，生成裁剪框候选集；(2)提取图像中的前景目标及后景，构造前景目标和背景的图关系，并转换为美学特征向量；(3)采用SVM分类器，输入大量正负样本，训练美学评价模型；(4)将裁剪框候选集输入得到的美学评价模型，即可生成高美学评价的缩略图。该发明既保证生成的缩略图不遗失原始图像的重要信息，又兼顾了人们对图像的美学要求。

技术领域

本发明涉及图像分割、图像分析、计算机视觉领域，具体是一种多目标图像的缩略图自动生成方法。

背景技术

近年来，随着互联网的快速发展，图像也成为了传播信息的重要媒介，被广泛应用。例如淘宝网的商品展示和YouTube、爱奇艺等视频网站的信息都主要通过图像或视频的形式表达。这些大型网站的每个网页都包含数百个图像或视频，如何更有效的利用展示空间，减少传输时间成了需要解决的问题。缩略图便由此提出。

缩略图是原始图像尺寸缩小的图像，能够在一定的尺寸和长宽比基础上清晰表达原始图像所包含的内容。缩略图有如下几个特点：(1)缩略图应保证前景的可见性；(2)缩略图应易于视觉捕获；(3)缩略图应保证全局代表性。早期，研究人员们提出了基于细缝裁剪的改进算法，主要通过对整张图像进行缩放，但是不能保证缩略图的前景可识别性，并且容易出现扭曲变形等情况。之后，有人提出基于显著性的裁剪方法，通过提取图像最显著部分选择裁剪部分，该方法能够突出显示前景内容，但是失去了全局代表性。目前生成缩略图的方法主要是基于裁剪加缩放的方式，通过两者的结合，很好的兼顾了全局代表性和前景可见性等特点。

神经网络技术正发展得如火如荼，目标识别网络能够准确高效的检测出特定的目标，显著性检测能够通过神经网络检测到具有代表性的区域。而将目标识别和显著性检测应用到缩略图生成技术中，能够极大地提高裁剪区域的前景可见性和全局代表性。此外，现有的图像缩略图生成方法中，基本都是通过单独的显著性检测或目标检测等确定裁剪区域。对于多目标图像，这些方法不能够很好的保证重要目标的完整性及和目标长宽比的匹配度。

发明内容

本发明的目的在于通过深度学习的方法生成兼顾图像目标选取和图像重要信息的缩略图。首先，通过Faster R-CNN网络和Deep Convnet网络对原图进行目标位置计算和显著性检测，以一定的规则进行区域结合，从而确定初始区域并且在初始区域周围生成一系列长宽比和目标缩略图相近的候选集。然后，通过构造无向图关系，再将多目标图像中背景和前景目标的关系转换为美学特征向量，并且经过美学评价模型对候选集进行美学评分，选择得分最高的候选区域进行裁剪缩放生成缩略图。本发明通过以下步骤实现：

步骤1、结合目标识别网络和显著性检测网络，输入图像，生成裁剪候选集；

步骤2、分离前景目标和背景，构建前景目标与背景的图关系模型；

步骤3、将图关系转换为特征向量；

步骤4、输入大量正负样本训练美学评价模型；

步骤5、将裁剪框候选集输入得到的美学评价模型，输出缩略图；

上述方法步骤1中，本发明通过目标识别网络Faster R-CNN检测目标、显著性检测网络Deep Convnet检测显著性，再将目标区域与显著性区域结合，确定初始区域，并在初始区域周围设定与目标缩略图长宽比相近的裁剪框，该裁剪框集合即为裁剪候选集。

上述方法步骤2中，本发明通过显著性检测手段检测出前景目标，使用图像修补技术Generative Inpainting修补移除前景目标后的图像，得到背景。

上述方法步骤2中，本发明构建前景目标与背景的图关系的具体步骤为：