[发明专利]面向跨媒体新闻检索的人脸-人名对齐方法及系统

说明书

技术领域

本发明属于跨媒体信息检索技术领域，具体涉及一种特定媒体——多模态新闻跨媒体检索方法及系统。

背景技术

随着网络的普及和图像设备的大众化，迅速增强的数字采集技术与存储交付能力导致在线和离线的图像数据呈爆炸性扩增，尤其是那些带有文本标注的新闻图像资源。正因为此类信息的来源越来越丰富，使得针对新闻图像资源实施更加有效的检索、组织和分析变得非常重要^[1]。

一方面，由于新闻图像及其对应的文本标注通常是以人为主题进行描述，因此这使得用户通过使用一个完善有效的检索系统来查询一个特定人的相关新闻图像成为更为紧迫的一种需求^[2, 3]。而当前仅仅主要利用文本检索方式进行相应处理，即简单利用伴随新闻图像一同出现的文本标注信息与查询人名的字符匹配情况进行人脸图像返回，其所返回的检索结果中通常包含很多与该查询人名无关的人脸图像，其检索性能并不理想^[4]。因此，为尽可能检索出关于某个特定人对应的正确新闻图像资源，有必要从文本语义级别深层次分析包含该特定检索人名的文本标注的语义信息，并融合与该文本标注相对应图像的视觉信息（特别是人脸视觉信息）来提高检索性能。

另一方面，由于此类多模态新闻图像信息已经越来越广泛地被应用到各种研究和工程中，利用具有明确语义信息的图像数据作为数据分析源及用于其它相关用途，因此很有必要将多模态信息所对应的底层视觉特征与高层语义特征相关联，挖掘出二者之间的相互关联关系。而当前主要通过人工标注的方式来定义和描述具有特定底层视觉特征的图像数据所对应的相关语义信息，但人工标注的方式需要耗费非常大的时间代价。同时，由于标注过程带有明显的人为主观性，可能在一定程度上导致视觉特征和语义特征之间的关联性并不是十分紧密。为更充分和高效地挖掘多模态新闻信息的底层视觉特征与高层语义特征之间的相互关联性，实现更为精确有效的跨模态人脸-人名对齐是一项十分有意义且具有挑战性的工作。

而跨模态人脸-人名对齐，即将图像中具有相同或相近语义的人脸和人名进行匹配，并非一项新的工作^{[5, 6, 7, 8]}。传统上，将人脸和人名进行关联的处理主要考虑以下两种方式，即对图像标注采用面向原始文本信息的查询操作^{[9, 10, 11, 12, 13, 14]}，或者通过人脸检测工具对返回图像进行排序或过滤^{[15, 16, 17]}。但仅仅通过简单的人名查询和图像标注匹配，很有可能产生许多错误结果。另一方面，当前大多数的人脸识别方法都仅仅应用在受限数据集中，而对于新闻图像而言，其中的人脸姿态和表情都有很大变化，还有低劣的图像分辨率和图像质量等原因，同时也没有足够可用和可信赖的训练集用于通过学习获得人脸分类器，这些诸多因素使得很难对新闻图像中的人脸获得令人满意的人脸识别性能和效果^{[18, 19, 20]}。

同时，当前越来越多的研究注意到当充分利用一种媒体中的信息时，将可能会对另一种媒体中的信息处理和分析十分有帮助，尤其是在同时考虑图像以及与它相关联的文本信息这两种媒体信息时。当文本信息（如图像对应的文本标注）伴随着视觉显示信息（如新闻图像）一同出现时，会对人脸与人名之间的关联性获取起到非常重要的作用。文本和图像信息两者之间的相互作用影响已成为跨模态人脸与人名对齐中的一个热点研究，在对齐过程中融合充分的文本分析将会对图像集的整体检索性能带来明显提升。

当前，对于跨模态人脸和人名对齐的研究越来越多地考虑将文本信息和图像信息相结合，以此来获得更好的检索与分析性能^{[20, 21, 22, 23]}。近年来，有许多实例是利用那些伴随图像一起出现的文本信息来进行跨模态人脸和人名的对齐处理，从整体上可分为以下两种相关处理方式：

（1）首先，利用文本信息进行相关检索过程，然后直接从图像的视觉特征出发，进行人脸图像的分析与识别。即，首先通过文本检索方式得到一个特定人的人脸图像候选集，之后对当前候选集中的人脸图像进行相似性评估和度量。目前主要采用一种基于图的方法来获得当前人脸候选集的一个最紧密人脸图像子集，此子集中人脸图像之间互相更加相似紧密，所得到的这些人脸图像也就是所检索的当前特定人对应的人脸图像结果集合。