[发明专利]特定区域的图像描述生成方法、装置、设备及存储介质

说明书

本申请涉及人工智能技术，提供了一种特定区域的图像描述生成方法、装置、设备及存储介质，方法包括：获取全局图像；基于预训练的第一特征提取网络模型对全局图像进行全局特征提取，得到全局图像特征图；基于预训练的第二特征提取网络模型对全局图像特征图进行局部特征提取，得到局部图像特征图；分别对全局图像特征图和局部图像特征图进行维度统一提取，得到全局图像特征向量和局部图像特征向量；对全局图像特征向量和局部图像特征向量进行融合，得到最终图像特征向量；基于预训练文本生成网络模型对最终图像特征向量进行文本生成，得到特定区域描述文本，通过上述技术方案能够提高特定区域的图像文本描述的准确率。

技术领域

本申请实施例涉及但不限于图像处理技术领域，尤其涉及一种特定区域的图像描述生成方法、装置、设备及存储介质。

背景技术

图像描述生成是图像处理中具有重要应用价值的一个领域；对于图像描述生成，当前多为针对整幅图像进行描述文本生成或者在特定区域下的文本生成；其中，基于编码-解码模型能够较好地抽取图像全局特征但是对于局部特征的提取就会有所遗漏，基于目标检测模型可以提取目标所在局部区域特征，但是欠缺局部特征之间的联系，进而使得特定局部区域的图像文本描述不够正确。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

为了解决上述背景技术中提到的问题，本申请实施例提供了一种特定区域的图像描述生成方法、装置、设备及存储介质，能够提高特定区域的图像文本描述的准确率。

第一方面，本申请实施例提供了一种特定区域的图像描述生成方法，包括：

获取全局图像；

基于预训练的第一特征提取网络模型对所述全局图像进行全局特征提取，得到全局图像特征图；

基于预训练的第二特征提取网络模型对所述全局图像特征图进行局部特征提取，得到局部图像特征图；

分别对所述全局图像特征图和所述局部图像特征图进行维度统一提取，得到对应所述全局图像特征图的全局图像特征向量和对应所述局部图像特征图的局部图像特征向量；

对所述全局图像特征向量和所述局部图像特征向量进行融合，得到最终图像特征向量；

基于预训练的文本生成网络模型对所述最终图像特征向量进行文本生成，得到特定区域描述文本。

根据本申请提供的实施例的特定区域的图像描述生成方法，至少具有如下有益效果：首先获取全局图像；接着基于预训练的第一特征提取网络模型对获取到的全局图像进行全局特征提取处理，进而得到全局图像特征图；接着基于预训练的第二特征提取网络模型对全局图像特征图进行局部特征提取，进而得到局部图像特征图；接着分别对上述得到的全局图像特征图和局部图像特征图进行维度统一提取处理，进而分别得到全局图像特征向量和局部图像特征向量；接着对全局图像特征向量和局部图像特征向量进行融合处理，得到最终图像特征向量；最后将最终图像特征向量输入至预训练的文本生成网络模型进行文本生成，从而得到特定区域描述文本。本实施例将全局图像特征向量和局部图像特征向量进行融合处理，使得后续的文本生成过程既包括全局图像的相关信息又包括局部图像的相关信息，使得全局图像特征向量和局部图像特征向量两者之间建立联系，进而能够提高特定区域的图像文本描述的准确率。

根据本申请的一些实施例，所述基于预训练的第二特征提取网络模型对所述全局图像特征图进行局部特征提取，得到局部图像特征图，包括：

基于预训练的第二特征提取网络模型对所述全局图像特征图进行选择性搜索，得到至少一个候选框图；

对各个所述候选框图分别进行第一特征提取，得到各个所述候选框图对应的候选特征图；

基于所述候选特征图对所述候选框图进行回归调整，得到精确候选框图；