[发明专利]一种多目标图像的缩略图生成方法

权利要求书

1.一种多目标图像缩略图的生成方法，其特征在于，该生成方法包括以下步骤：

步骤1、结合目标识别网络Faster R-CNN和显著性检测网络Deep Convnet，输入图像，生成裁剪候选集；

步骤2、分离前景目标和背景，构建前景目标与背景的图关系模型；

步骤3、将图关系转换为特征向量；

步骤4、输入大量正负样本训练美学评价模型；

步骤5、将裁剪框候选集输入得到的美学评价模型，生成高美学评价的缩略图。

2.根据权利要求1所述的缩略图生成方法，其特征在于，步骤1中使用目标识别网络Faster R-CNN检测目标，显著性检测网络Deep Convnet检测显著性，再将目标区域与显著性区域结合，兼顾了图像显著信息的保留和图像中目标的选取，使得确定的初始区域既包含图像显著区域的重要信息，也包含具有显著性的完整目标。

3.根据权利要求1所述的缩略图生成方法，其特征在于，步骤1中所述的目标识别网络Faster R-CNN，其Faster R-CNN模型是由Fast R-CNN和RPN模型构成，通过共享卷积层特征，交替训练的方式将Fast R-CNN和RPN融合为一个整体网络结构；Faster R-CNN目标检测算法能够将输入图像的目标识别出来，并输出每个目标确切的位置，其位置区域表示为[x,y,width,height]，分别代表目标区域左上角坐标以及宽度和高度。

4.根据权利要求1所述的缩略图生成方法，其特征在于，步骤1中所述的显著性检测网络Deep Convnet，其网络结构由8个卷积层，2个池化层和1个反卷积层构成，前三个卷积层在训练时通过迁移学习使用VGG的参数初始化；在网络结构中每一层之后加入Relu激活函数，并在最终卷积之后通过反卷积层产生与输入宽度和高度匹配的显著图。

5.根据权利要求1所述的缩略图生成方法，其特征在于，步骤1中所述的生成裁剪候选集过程为：首先将目标区域和显著性区域结合生成初始区域，然后在初始区域外围生成一系列尺寸不同的待调候选框，通过对待调候选框的长宽进行调整，生成和目标缩略图长宽比一致的候选框。

6.根据权利要求1所述的缩略图生成方法，其特征在于，步骤2中所述的分离前景目标和背景是通过目标识别网络提取前景目标，再使用图像修补技术对前景目标移除后的图像进行修补，得到无目标的背景。

7.根据权利要求1所述的缩略图生成方法，其特征在于，步骤2中所述的构建前景目标与背景的图关系的具体步骤为：

(1)将前景目标与背景看作图中的“点”，通过显著性检测方法寻找背景中的显著性区域，将显著性区域的中心点设为背景点；

(2)将前景目标按占图像总面积比的大小顺序排列，选取其中最大的5个目标，取其中心点为目标点；

(3)按照如下方式构造图：

G＝(V，E)；

V＝{g，V_l＝{v₁，v₂，…，v_n}}；

E＝{E_g＝{(g，v_i)}，E_l＝{(v_j，v_k)}(i，j，k＝1，2，…，n)；

其中，V表示无向图G的顶点集合，g表示背景点，V_l表示目标点的集合，E表示无向图G边的集合，E_g表示背景点与目标点的边集合，E_l表示目标点之间的边集合，n表示目标点个数。