[发明专利]一种图像描述方法、图像描述装置及计算机存储介质

说明书

本申请公开了一种图像描述方法、图像描述装置及计算机存储介质。其中，所述方法包括：获取待描述图像；从预设图像样本中检索与待描述图像相匹配的目标图像以及用于对目标图像进行描述的目标描述文本；根据待生成的当前描述词语与已生成的历史描述词语之间的关系参数、以及待描述图像的特征，摘抄目标描述文本中的描述词语作为当前描述词语或生成新的当前描述词语，以进一步生成对待描述图像的描述文本。通过上述方式，能够有效提高图像描述文本的质量，使描述文本更准确、通顺和规范。

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像描述方法、图像描述装置及计算机存储介质。

背景技术

图像描述是一项结合了计算机视觉和自然语言处理两个领域的一项非常有挑战的任务。这项任务的目标是通过计算机来生成给定图像通顺的目然语言描述，这就要求计算机不仅能够准确的识别图像中的物体以及物体间的关系，而且还要能够使用自然语言通顺完整地将图像中的内容描述出来。随着深度学习相关方法被广泛的应用到计算机视觉领域，目前，计算机可以较好的完成图像中的目标检测、物体分割等任务，但理解图像中物体间的关系，并用自然语言表达出来仍就是一个较为困难的问题。

针对这个问题，相关学者也提出许多方法来尝试解决这个问题，其中，基于检索的方法和基于生成的方法是目前主流的方法，但这两种描述方法依然存在描述不够具体准确或不够规范的问题。

发明内容

为了解决上述问题，本申请提供了一种图像描述方法、图像描述装置及计算机存储介质，能够有效提高图像描述文本的质量，使描述文本更准确、通顺和规范。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种图像描述方法，包括：获取待描述图像；从预设图像样本中检索与待描述图像相匹配的目标图像以及用于对目标图像进行描述的目标描述文本；根据待生成的当前描述词语与已生成的历史描述词语之间的关系参数、以及待描述图像的特征，摘抄目标描述文本中的描述词语作为当前描述词语或生成新的当前描述词语，以进一步生成对待描述图像的描述文本。

其中，从预设图像样本中检索与待描述图像相匹配的目标图像以及用于对目标图像进行描述的目标描述文本，包括：对待描述图像进行特征提取，以得到特征向量；利用特征向量在预设图像样本中搜索相似度大于设定阈值的多个样本图像；获取与多个样本图像对应的多个描述文本；从多个描述文本中确定与待描述图像相匹配的目标描述文本。

其中，从多个描述文本中确定与待描述图像相匹配的目标描述文本，包括：计算多个描述文本中每个描述文本，与多个描述文本中剩余的描述文本的相似度；选择相似度最大的一个描述文本作为目标描述文本。

其中，根据待生成的当前描述词语与已生成的历史描述词语之间的关系参数、以及待描述图像的特征，摘抄目标描述文本中的描述词语作为当前描述词语或生成新的当前描述词语，包括：计算摘抄目标描述文本中的描述词语作为当前描述词语的第一概率；以及根据待生成的当前描述词语与已生成的历史描述词语之间的关系参数、以及待描述图像的特征，计算生成新的当前描述词语的第二概率；根据第一概率和第二概率摘抄目标描述文本中的描述词语作为当前描述词语或生成新的当前描述词语。

其中，计算摘抄目标描述文本中的描述词语作为当前描述词语的第一概率，包括：利用长短期记忆网络将目标描述文本转换为隐藏序列；基于隐藏序列计算摘抄目标描述文本中的描述词语作为当前描述词语的第一概率。

其中，基于隐藏序列计算摘抄目标描述文本中的描述词语作为当前描述词语的第一概率，包括：采用以下公式计算：其中，是一个非线性的激活函数，U^c为一个可学习参数，h′_i为隐藏序列，p^c(y_t|y_1：t-1，v)为第一概率，y_1：t-1为历史描述词语。