[发明专利]一种联合文本和图像内容的缩略图生成方法及系统

权利要求书

1.一种联合文本与图像内容的图像缩略方法，该方法包括:

a.对原始图像进行显著性检测，输出人可能感兴趣的图像区域作为图像显著性区域；结合多种图像分析算法对所述原始图像进行内容结构化分析，确定所述原始图像中的目标区域、所述目标区域对应的区域类别标签以及其他信息内容；采用关键词提取算法对所述原始图像相关的文本提取关键词并统计相应关键词在所述文本中出现的次数，输出包括相应的关键词及其出现在文本中的次数；

b.基于通用知识图谱对所述区域类别标签、所述关键词进行信息融合，根据信息融合的结果以及所述图像显著性区域，在所述原始图像中确定出缩略图区域；

c.根据所述缩略图区域以及原始图像产生缩略图。

2.如权利要求所述的方法，其中步骤a中所述的多种图像分析算法包括：用于检测物体的深度神经网络目标检测算法、人脸检测与识别算法、以及图像文字检测与识别算法；所述目标区域类别包括物体区域、人脸区域以及文字区域。

3.如权利要求1或2所述的方法，其中步骤b具体为：分别计算图像中各所述目标区域与所述图像显著性区域的重合面积并去重，判断所述去重后的重合面积占显著性区域的面积的百分比是否大于或等于预设的阈值，若是、则选择显著性区域作为缩略图输出；否则、将所述关键词按照其文本中出现的次数从高到低进行排列构建成包含M个元素的文本关键词矩阵、M为关键词的个数，将所述图像区域类别标签构建成包含K个元素的图像区域类别标签矩阵；基于通用知识图谱的距离模型构建的关系型查找数据库得到文本关键词矩阵与图像区域类别标签矩阵的关系距离矩阵D，其中D的大小为M*K；根据关系距离矩阵D的元素，选择对应的所述目标区域进行重复合并处理，当合并处理后的区域达到指定的缩略图大小时将其作为缩略图区域。

4.如权利要求3所述的方法，其中、根据关系距离矩阵D的元素，选择对应的目标区域进行重复合并处理具体为：将关系距离矩阵D中每个元素D_ij，按照对应文本关键词的出现次数A及图像区域类别标签的出现数目B进行以下加权处理后得到加权关系距离矩阵D^*：D_ij^*＝D_ij/(A+B)，1≤i≤M、1≤J≤K i、j为整数；按照从小到大依次选择矩阵D^*的元素对应的所述目标区域进行重复合并处理，直到合并处理后的区域达到指定的缩略图大小时将其作为缩略图区域。

5.一种联合文本与图像内容的图像缩略系统，该系统包括:

图像分析模块，用于对原始图像进行显著性检测，输出人可能感兴趣的图像区域作为图像显著性区域，同时结合多种图像分析算法对所述原始图像进行内容结构化分析，确定所述原始图像中的目标区域、所述目标区域对应的区域类别标签以及其他信息内容；

文本关键词提取模块，基于预设的关键词提取算法对所述原始图像相关的文本提取关键词并统计相应关键词在所述文本中出现的次数，输出包括相应的关键词及其出现在文本中的次数；

信息融合模块，基于通用知识图谱对图像分析模块输出的所述区域类别标签、文本关键词提取模块提取的所述关键词进行信息融合；

缩略图产生模块，用于根据信息融合的结果以及图像分析模块输出的所述图像显著性区域，在原始图像中确定出缩略图区域，并根据所述缩略图区域产生缩略图。

6.如权利要求5所述的系统，其中信息融合模块对所述区域类别标签、所述关键词进行信息融合，具体包括：基于通用知识图谱的距离模型，将所述关键词按照其文本中出现的次数从高到低进行排列构建成包含M个元素的文本关键词矩阵、M为关键词的个数，将所述图像区域类别标签构建成包含K个元素的图像区域类别标签矩阵；计算文本关键词矩阵与图像区域类别标签矩阵的关系距离矩阵D，其中D的大小为M*K；根据关系距离矩阵D的元素。

7.如权利要求6所述的系统，其中缩略图产生模块具体实现为：分别计算图像中各所述目标区域与所述图像显著性区域的重合面积并去重，判断所述去重后的重合面积占显著性区域的面积的百分比是否大于或等于预设的阈值，若是、则选择显著性区域作为缩略图输出；否则、将关系距离矩阵D中每个元素D_ij，按照对应文本关键词的出现次数A及图像区域类别标签的出现数目B进行以下加权处理后得到加权关系距离矩阵D^*：D_ij^*＝D_ij/(A+B)，1≤i≤M、1≤J≤K i、j为整数；按照从小到大依次选择矩阵D^*的元素对应的所述目标区域进行重复合并处理，直到合并处理后的区域达到指定的缩略图大小时将其作为缩略图区域。