[发明专利]基于美学分析的多任务深度网络下的图像显著性预测方法

说明书

一种基于美学分析的多任务深度网络下的图像显著性预测方法：设计多任务卷积神经网络；将AVA美学分析数据库和SALICON显著性数据库的图像同时输入到设计好的多任务卷积神经网络；定义多任务卷积神经网络的损失函数，通过反向传播算法最小化损失函数；将测试集的图像经过多任务卷积神经网络并通过softmax级联输出单张图片的显著性映射分布。本发明能够提高模型预测图像显著性的鲁棒性，避免了需要统一图像尺寸而造成的图像信息结构破坏，大幅提高了图像显著性映射分布预测的精度，改善了传统方法缺少融合和关联人类视觉美学信息的问题。

技术领域

本发明涉及一种图像显著性预测方法。特别是涉及一种基于美学分析的多任务深度网络下的图像显著性预测方法。

背景技术

随着计算机技术和通信技术的飞速发展，计算机视觉与人类视觉系统领域涌现出纷繁复杂的信息，其中图像是重要载体，而如何对视觉图像中的目标检测和识别成为一个重要的研究问题^[1]。显著性映射作为目标检测和识别中重要的预处理步骤，已经引起足够的重视并成为了一项独立研究的课题。所谓显著性映射技术，即是聚焦图像中引起人眼注意的区域。

目前显著性映射的流行算法通过使用单独的端到端分层模型来预测显着性图，着重于使用目前目标检测领域新的卷积神经网络模型和研究合适的损失函数，一般只关注显著性映射任务的专有数据库本身，而这样的数据库的创建本身是艰难的且稀少的。比较接近跨域跨数据集的方法，主要将网络模型在诸如ImageNet图像分类挑战任务中进行预训练，然后利用已经预训练的骨架网络对显著性映射任务进一步训练，而鲜有能针对性迁移人类视觉美学先验知识来训练显著性映射任务。而研究表明，视觉注意力与视觉美学之间存在很强的相关性。Lind等人发现美学对象引起了人们的注意^[2]，因为它们很有趣。同样，根据Coe的研究，美学被用作创造物体或人的注意力的手段^[3]。这些研究表明，视觉美学可能是帮助确定视觉注意力的关键，比如图像的布局和组成决定了图像美学和显着性，即位于图像的黄金分割点的目标，会影响人类图像美学的评估，吸引人类的注意力；图像颜色的协调，清晰的前景和模糊的背景和图像纹理的组合影响美学和显着性等等。

发明内容

本发明所要解决的技术问题是，提供一种能够提高图像显著性映射精度的基于美学分析的多任务深度网络下的图像显著性预测方法。

本发明所采用的技术方案是：一种基于美学分析的多任务深度网络下的图像显著性预测方法，包括如下步骤：

1)设计多任务卷积神经网络；

2)将AVA美学分析数据库和SALICON显著性数据库的图像同时输入到设计好的多任务卷积神经网络；

3)定义多任务卷积神经网络的损失函数，通过反向传播算法最小化损失函数；

4)将测试集的图像经过多任务卷积神经网络并通过softmax级联输出单张图片的显著性映射分布。

步骤1)所述的多任务卷积神经网络，包括：

(1)采用VGG16网络前13层的卷积层，其中，每层卷积滤波器的大小为3*3，步长为1，在第2、4、7、10层卷积层后面都有Maxpooling层用以降低特征图的尺寸，构成共享卷积部分，用以融合两个不同任务的数据的特征；

(2)在共享卷积部分后面设计两个分支，一个为美学分支，另一个为显著性分支，每个分支有各自的卷积神经网络，其中：

美学分支上，首先将共享部分的输出特征经过自适应空间池化，使得每个通道均分为9块，不同的特征在自适应空间池化后固定为相同尺度的特征，将相同尺度的特征展开为一维；再依次通过输出长度为4096和10的两个全连接层；最后加上Softmax操作；