[发明专利]图像描述信息的获取方法及装置

说明书

本公开提供了一种图像描述信息的获取方法及装置，属于图像处理技术领域。所述方法包括：提取图像的图像特征；确定图像中的多个兴趣点，所述多个兴趣点用于指示所述图像中多个目标物体；根据所述多个兴趣点的特征，获取图像中多个目标物体的描述信息；根据图像中多个目标物体的描述信息，获取图像的图像描述信息。本公开通过图像中多个兴趣点的特征来获取图像中多个目标物体的描述信息，并将该多个目标物体的描述信息组合得到该图像的图像描述信息。由于该多个目标物体为图像中比较显著的物体，故针对这些目标物体进行描述，可以很好地体现图像的局部信息，通过这些局部信息可以把图像完整的描述出来，图像描述的准确性和贴合性高。

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像描述信息的获取方法及装置。

背景技术

随着计算机视觉技术的发展，“根据图像给出描述图像内容的自然语言语句”的图像描述任务已经成为计算机视觉领域的一个研究热点。因此，亟需一种图像描述信息的获取方法来完成该图像描述任务，也即是，采用一段图像描述信息对图像进行描述。

目前，一般采用深度卷积神经网络(Convolutional Neural Network,CNN)和循环神经网络(Recurrent Neural Networks，RNN)相结合的模型(CNN-RNN模型)来完成上述图像描述任务。其中，CNN是一种前馈神经网络，能够对图像进行特征变换和特征提取，适合进行图像识别。RNN的处理层(包括输入层、中间层以及输出层)之间既有反馈连接又有前馈连接，它适合进行序列预测，例如句子生成、语言翻译等任务。基于CNN-RNN模型对图像描述的方法如下：CNN从图像中提取特征，并将所述特征传递给RNN，进而RNN根据该图像的特征，产生一个单词序列，即一个句子，将该句子作为该图像的图像描述信息。

发明内容

为克服相关技术中存在的问题，本公开提供一种图像描述信息的获取方法及装置。

根据本公开实施例的第一方面，提供一种图像描述信息的获取方法，包括：

提取图像的图像特征；

确定所述图像中的多个兴趣点，所述多个兴趣点用于指示所述图像中多个目标物体；

根据所述多个兴趣点的特征，获取所述图像中多个目标物体的描述信息；

根据所述图像中多个目标物体的描述信息，获取所述图像的图像描述信息。

本公开实施例提供的方法，通过确定图像中多个目标物体对应的多个兴趣点，根据该多个兴趣点的特征来获取该多个目标物体的描述信息，并将该多个目标物体的描述信息组合得到该图像的图像描述信息。由于该多个目标物体为图像中比较显著的物体，故针对这些目标物体进行描述，可以很好地体现图像的局部信息，通过这些局部信息可以把图像完整的描述出来，图像描述的准确性和贴合性高。

在第一方面的第一种实现方式中，所述确定所述图像中的多个兴趣点包括：

将所述图像输入到第一网络模型，由所述第一网络模型通过生成高斯权重来预测所述图像中的多个兴趣点，所述第一网络模型基于多个样本图像以及每个样本图像中标记的兴趣点建立，每个兴趣点的高斯权重大于所述兴趣点周围的点的高斯权重。

本公开实施例提供的方法，通过第一网络模型来预测图像中的多个兴趣点，由于该第一网络模型是基于多个样本图像中的兴趣点以及高斯权重等训练数据建立的，故该第一网络模型可以通过生成高斯权重来预测任一个图像中的兴趣点，提供了一种确定图像中兴趣点的方式。

在第一方面的第二种实现方式中，所述根据所述多个兴趣点的特征，获取所述图像中多个目标物体的描述信息包括：

对于每个兴趣点，根据所述兴趣点以及所述兴趣点的多个相邻点的特征，获取由所述兴趣点和所述多个相邻点组成的目标物体的描述信息。