[发明专利]基于目标检测和自然语言处理的图像字幕生成方法

说明书

本发明涉及图像字幕技术领域，具体公开了一种基于目标检测和自然语言处理的图像字幕生成方法，包括：获取待生成字幕图像，并对待生成字幕图像进行向量处理以及目标检测后获得两组相同的向量图像特征；将一组向量图像特征输入至编码器以进行特征提取处理，获得图像处理特征；将另一组向量图像特征输入至解码器，以与图像描述文本进行第一次信息交互，获得第一次交互结果；将图像处理特征输入至解码器以与第一次交互结果进行第二次信息交互，获得第二次交互结果；对第二交互结果进行转换处理获得图像字幕，并输出所述图像字幕。本发明提供的基于目标检测和自然语言处理的图像字幕生成方法解决了图像字幕与图像实际内容表达之间的偏差的问题。

技术领域

本发明涉及图像字幕技术领域，尤其涉及一种基于目标检测和自然语言处理的图像字幕生成方法。

背景技术

图像字幕的背景源于对于图像理解和自然语言处理的需求。图像是人类获取信息的主要途径之一，但是对于计算机来说，图像是无法直接理解的。因此如何让计算机理解图像成为了一个重要的研究方向。另一方面，自然语言是人类交流的主要方式之一，但是计算机无法像人类一样能够轻松理解和生成自然语言。因此，如何让计算机能够处理自然语言也成为了一个重要的研究方向。

图像字幕的研究可以追溯到20世纪80年代。最初的研究方法是手动提取图像的特征，并使用这些特征来生成文本描述。这种方法的缺点是需要大量的人工工作，并且不能处理复杂的场景。随着计算机视觉和自然语言处理的不断发展，基于深度学习的图像字幕方法逐渐成为主流。这些方法利用深度学习网络对图像进行特征提取，并使用循环神经网络等模型生成文字描述。但是现有技术中的这种方式建模后的模型在图像内容提取与文字生成过程中容易有噪声干扰而导致生成的字幕与实际的图像内容表达存在比较大的偏差。另外，现有技术的语言模型也不太适用于字幕生成进而导致偏差更加明显。

因此，如何能够降低图像字幕与图像实际内容表达之间的偏差成为本领域技术人员亟待解决的技术问题。

发明内容

本发明提供了一种基于目标检测和自然语言处理的图像字幕生成方法，解决相关技术中存在的图像字幕与图像实际内容表达之间的偏差的问题。

作为本发明的一个方面，提供一种基于目标检测和自然语言处理的图像字幕生成方法，其中，包括：

获取待生成字幕图像，并对所述待生成字幕图像进行向量处理以及目标检测后获得两组相同的向量图像特征；

将一组向量图像特征输入至编码器以进行特征提取处理，获得图像处理特征；

将另一组向量图像特征输入至解码器，以与图像描述文本进行第一次信息交互，获得第一次交互结果；

将所述图像处理特征输入至所述解码器以与所述第一次交互结果进行第二次信息交互，获得第二次交互结果；

对所述第二交互结果进行转换处理获得图像字幕，并输出所述图像字幕。

进一步地，将一组向量图像特征输入至编码器以进行特征提取，获得图像处理特征，包括：

将一组向量图像特征输入至编码器进行特征提取，获得图像提取特征；

将所述图像提取特征输入至定向注意力机制后进行归一化处理，获得图像处理特征。

进一步地，将一组向量图像特征输入至编码器进行特征提取，获得图像提取特征，包括：

将一组向量图像特征输入至前馈神经网络进行特征提取，获得图像提取特征，其中所述前馈神经网络的计算公式为：

，

其中，，表示所述目标检测结果，n表示图像的批次数量，表示权重矩阵，表示偏置向量，f表示激活函数。

进一步地，将所述图像提取特征送入至定向注意力机制后进行归一化处理，获得图像处理特征，包括：