[发明专利]图像描述方法、装置、电子设备及存储介质

说明书

本申请提供了一种图像描述方法、装置、电子设备及存储介质，涉及图像处理技术领域，该方法包括：将图像划分为前景区域和背景区域，基于背景区域进行覆盖式融合以及权重赋值得到整合后的背景区域和背景权重,基于背景权重以及整合后的背景区域生成背景特征向,基于前景区域选出图像中的物体对应的物体图像，物体为图像中符合拍摄主题的拍摄对象。基于背景特征向量，以及物体图像的面积与图像的面积的物像面积比，生成图像描述文本以对图像进行描述。本申请通过背景特征向量与物像面积比，增强描述物体和背景的空间关系的逻辑性，以提高图像描述的准确性。

技术领域

本申请图像处理技术领域，具体而言，涉及一种图像描述方法、装置、电子设备及存储介质。

背景技术

随着人工智能技术的发展，人们对于图像识别的需求量增大，人工描述图像的方法效率低的问题就凸显出来，自动识别图像的技术应用而生。现有技术中利用图像的特征来获得对图像的描述，存在对图像的描述逻辑性差以及对图像的描述难以贴近人类真实意图的问题，也就是存在图像描述准确性低的问题。

发明内容

本申请的实施例在于提供一种图像描述方法、装置、电子设备及存储介质，以解决目前方法图像描述准确性低的问题。

本申请的实施例提供了一种图像描述方法，所述方法包括：

将图像划分为前景区域和背景区域；

基于所述背景区域进行覆盖式融合以及权重赋值得到整合后的背景区域和背景权重；

基于所述背景权重以及所述整合后的背景区域生成背景特征向量；

基于所述前景区域选出所述图像中的物体对应的物体图像，所述物体为所述图像中符合拍摄主题的拍摄对象；

基于所述背景特征向量，以及所述物体图像的面积与所述图像的面积的物像面积比，生成图像描述文本以对所述图像进行描述。

在上述实现过程中，通过对背景区域进行整合以及权重赋值以区分背景区域以及背景与物体的过渡区域，并且计算物像面积比并以所述物像面积比为参数能够凸显所述物体的在整个图像中的占比，基于所述背景权重以及所述整合后的背景区域生成背景特征向量，以所述背景特征向量以及所述物像面积比作为参数生成描述文本。能够通过识别图像中的背景、前景以及物体将图像划分为不同的层级，并根据不同层级的关系来确定用于描述文本的参数和权重，从而能够提高描述图像中物体与背景的空间关系的逻辑性，以提高图像描述的准确性。

可选地，所述将图像划分为前景区域和背景区域，包括：

在所述图像上设置预定数目的锚点；

基于所述预定数目的锚点生成各个候选区域；

基于所述拍摄主题，利用预训练模型将所述各个候选区域划分为前景区域和背景区域。

在上述实现过程中，通过所述预定数目的锚点，并通过所述预训练模型对所述各个候选区域进行划分，划分为符合拍摄主题的前景区域以及背景区域，将所述图像基于拍摄主题划分为不同的区域，对不同的区域采用不同的处理方式，能够提高图像描述时的准确性。

可选地，所述基于所述背景区域进行覆盖式融合以及权重赋值得到整合后的背景区域和背景权重，包括：

对所有背景区域中存在重叠的每组背景区域取并集，得到至少一个第一区域；

基于所述第一区域与所述背景区域中分散的第二区域得到整合后的背景区域；

基于所述整合后的背景区域进行权重赋值以得到所述整合后的背景区域的背景权重。