[发明专利]基于低秩稀疏表征和关系推断的图像可记忆度预测方法

说明书

本发明公开了一种基于低秩稀疏表征和关系推断的图像可记忆度预测方法，包括：在MIT数据库上将提取的第一图片特征随机划分为两组，一组作为训练集特征；另一组作为测试集特征；在LaMem数据库上将提取的第二图片特征随机划分为六组，每组选预设张数的图片特征作为训练集特征，另一预设张数的图片特征作为测试集特征；将上述数据库上提取的训练集特征、训练集图片对应的标签、以及参数值作为目标函数的输入，经多次迭代，分别得到适用于MIT数据库、及LaMem数据库的映射矩阵和相关系数矩阵；分别将MIT数据库、及LaMem数据库上测试集的特征矩阵、与对应的映射矩阵和相关系数矩阵进行相乘，得到最终的图像可记忆度预测分数。

技术领域

本发明涉及图像可记忆度预测领域，尤其涉及一种基于低秩稀疏表征和关系推断的图像可记忆度预测方法。

背景技术

随着社交网络和硬件设备的快速发展，图像越来越多地出现在日常生活中。在成千上万的图像中，有一些图片可以在脑海中存留很长时间，而有一些却很快就会被遗忘。以上提到的现象可以用图像可记忆度来衡量，也就是一张图片能够被记住的程度。在参考文献[1]中，利用亚马逊众包平台设计了一个新颖的图像可记忆度游戏，在这个游戏中，志愿者需要观察一系列图片流，并且在看到重复的图片时，进行反馈。图像可记忆度被定义为观测者可以在一连串图片流中捕捉到重复图片的概率，取值范围是[0,1]。而且已有的研究工作表明，图像可记忆度是图片的内在固有属性。鉴于图像可记忆度在封面设计，广告宣传以及教育等领域的应用，对图像可记忆度的研究越来越得到人们的重视。

目前对于图像可记忆度的研究主要分为两个方面。

1)探索影响图像可记忆度的视觉因素和图片特征。特征，即一事物区别于其他事物的特点。在机器学习领域，特征可以理解为对图片的一种描述，而这种描述可以将不同的图片区分开来，并且可以利用这种描述进行下一步的研究。图片的特征有很多种，根据前人的研究，有的特征与图像可记忆度相关，有的特征与图像可记忆度关联很小，甚至无关。为了获得较好的图像可记忆度预测效果，需要提取与图像可记忆度有关的特征。研究表明，如果图片中含有人脸，会得到更高的可记忆度分数，反之，描述自然风景的图片可记忆度分数较低。另外，研究者发现场景和物体标注以及“属性”特征与图像的可记忆度高度相关，“属性”可以看作是一种可解释的中层特征，比如说“毛茸茸的”、“宽敞的”。在提取特征的过程中，可能会提取到重复的、对预测图像可记忆度没有积极作用的特征。对特征进行低秩稀疏学习，即低秩稀疏表征，可以将这一部分不理想的特征去掉，从而得到信息含量丰富却不冗余的特征，提高算法效率以及图像可记忆度预测的准确性。

2)设计图像可记忆度预测模型。相比对影响图像可记忆度的因素的探索，这方面的研究相对较少，很多工作直接采用了支持向量回归等已有的经典方法。更进一步，在参考文献[1]中，提出了多视角自适应回归模型，将每种视觉特征看作一个视角，极大的提升了预测效果，并且模型可以自适应的选择有更多信息的特征。在参考文献[2]中，提出了一种新的预测可记忆度的模型，此模型将弱学习、迁移学习与多视角一致性损失函数结合起来，实现了对特征表示的加强和高层语义鸿沟的跨越。

目前，在图像可记忆度领域，有两个广泛应用的数据库，分别是参考文献[1]中提出的MIT数据库，以及参考文献[3]中提出的LaMem数据库：

MIT数据库：包含来自SUN^[5]数据库的2222张图片，每张图片都有对应的可记忆度分数标签。

LaMem数据库：包含来自MIR Flickr^[6]，AVA^[7]，affective images^[8]，aliency(MIT1003^[9]和NUSEF^[10]),SUN^[5],image popularity^[11],Abnormal Objects^[12]以及aPascal^[13]等数据库的60000张图片，每张图片都有其对应的图像可记忆度分数标签。