[发明专利]一种联合文本和图像内容的缩略图生成方法及系统

说明书

本发明公开了一种联合文本与图像内容的图像缩略方法及系统。该方法包括：对原始图像进行显著性检测以及图像内容结构化分析以提取局部图像信息，对与原始图像相关的文本信息进行关键词分析与统计，结合所提取到的局部图像信息与关键词信息进行信息融合处理以确定最终缩略图的区域。本发明提供的图像缩略方法，在图文并存的场景下，所产生的缩略图能够准确地与文本的关联内容相映衬，兼顾了图像和文本的关联性，从而经本发明提供的方法产生的缩略图区域更为合理。

技术领域

本发明公开了一种联合文本和图像内容的缩略图生成方法，涉及图像提取/缩略领域。在图文并茂的场景下，通过本发明提供方法及系统基于原始图像产生的缩略图，能够准确地兼顾图像和文本的关联性，给出更为合理的缩略图区域。

背景技术

图像缩略图广泛存在于互联网领域，用于快速传输及预览图像信息。本发明的处理对象是广泛存在于互联网络领域的图文配合内容，比如同时包含文字和图像的文章、帖子等。这类内容同时包含了非结构化的文本信息和图像，且文本和图像通常存在相关性。

目前图像的缩略图主要是通过显著性检测以获取图像的显著性区域；计算包含所述的显著性区域的最大矩形区域；根据所述的最大矩形区域进行图像截取，得到待处理图像的缩略图。这样获取的缩略图可能无法准确将原始图像中需要用户重点关注的区域展示出来。例如、原始图像中需要用户重点关注的包含有丰富信息的背景/远景常常被缩略图漏掉，特别是网络环境下，图文并茂的场景大量存在，与原始图像关联的文本内容包含大量描述所述原始图像的文字信息以及说明需要用户侧重关注/发现的原始图像区域的指示/暗示信息，目前的图像缩略方法由于没有兼顾与原始图像相关的文本内容，所产生的缩略图无法准确地呈现与关联的文本内容契合。

发明内容

为了解决上述现存的缩略图生产方法的缺点，本发明提供一种联合文本与图像内容的图像缩略方法，该方法包括:基于现有的显著性分析算法对原始图像进行显著性检测，输出人可能感兴趣的图像区域作为图像显著性区域；结合多种图像分析算法对所述原始图像进行内容结构化分析，确定所述原始图像中的目标区域、所述目标区域对应的区域类别标签以及其他信息内容；采用关键词提取算法对所述原始图像相关的文本提取关键词并统计相应关键词在所述文本中出现的次数，输出包括相应的关键词及其出现在文本中的次数；基于通用知识图谱对所述区域类别标签、所述关键词进行信息融合，根据信息融合的结果以及所述图像显著性区域在所述原始图像中确定出缩略图区域，并根据所述缩略图区域以及原始图像产生缩略图。

进一步地、所述的多种图像分析算法包括：用于检测物体的深度神经网络目标检测算法、人脸检测与识别算法、以及图像文字检测与识别算法。所述目标区域包括原始图像中的物体区域、人脸区域以及文字区域。

进一步地、所述基于通用知识图谱对所述区域类别标签、所述关键词进行信息融合，具体为：采用通用知识图谱的距离模型，将所述关键词构建成文本关键词矩阵，将所述图像区域类别标签构建成图像区域类别标签矩阵；计算文本关键词矩阵与图像区域类别标签矩阵的关系距离矩阵D，并对所述关系距离举证元素进行加权化处理。所述根据信息融合的结果以及所述图像显著性区域确定出缩略图在所述图像中的区域作为缩略图区域，具体包括：分别计算图像中各所述目标区域与所述图像显著性区域的重合面积并去重，判断所述去重后的重合面积占显著性区域的面积的百分比是否大于或等于预设的阈值，若是、则选择显著性区域作为缩略图输出；否则、根据经过加权处理后的关系距离矩阵D^*的元素，选择对应的所述目标区域进行重复合并处理，直到合并处理后的区域达到指定的缩略图大小时将其作为缩略图区域。

相应地，本发明还提供一种联合文本与图像内容的图像缩略系统，该系统包括:

图像分析模块，用于对原始图像进行显著性检测，输出人可能感兴趣的图像区域作为图像显著性区域，同时结合多种图像分析算法对所述原始图像进行内容结构化分析，确定所述原始图像中的目标区域、所述目标区域对应的区域类别标签以及其他信息内容；