[发明专利]一种结合BERT模型的图像描述生成方法

说明书

本发明提供了一种结合BERT模型的图像描述生成方法，首先提取图像的特征向量，对特征向量进行压缩、维度扩充，其次，用外部语料数据扩充词典，然后，将特征向量和词典输入基于端到端加入注意力机制的图像描述生成模型，生成弱语义描述语句A，最后，通过BERT模型对弱语义描述语句A进行语义调整，获取完整的图像描述语句。本发明通过对特征向量进行压缩与维度扩充，增强图像数据的特征表达含义；利用基于端到端并加入注意力机制的图像描述生成模型生成弱语义图像描述语句，同时对于词汇不足的问题采用应用外部语料数据扩充词典的方式，增强语义含义，使所生成的图像描述能更准确的表征图像的内容，具有更丰富的语义。

技术领域

本发明涉及一种结合BERT模型的图像描述生成方法，属于图像处理技术领域。

背景技术

图像具有直观、形象的特点，便于人们接受，但随着智能手机及网络技术的发展，网络上有大量的图片产生，庞大的信息使得人们在进行图像检索阅读时花费大量时间。因此，如何通过自动化的方法快速生成图像的描述，并对其进行筛选过滤成为一个迫切需求，图像描述生成技术是一个合理有效的解决方案。此外，生成图像的描述语句还能帮助盲人理解图像内容。

在现有技术中，随着深度学习的发展，图像描述生成技术主要是采用深度学习方法，使用机器来自动生成对图像关键信息的自然语言描述语句，但这些方法由于训练数据集有限，无法涵盖所有领域的图像信息，因此生成的图像描述语句存在词语缺失以及语义信息不足等问题，无法得到很好的效果。

发明内容

为解决上述技术问题，本发明提供了一种结合BERT模型的图像描述生成方法，该结合BERT模型的图像描述生成方法相对于传统的基于端到端并加入注意力机制的图像描述生成方法，解决了图像描述生成语句语义信息不足的问题，并针对生成语句词汇不足的情况进行了补充，从而能够更准确的描述图像数据的语义含义。

本发明通过以下技术方案得以实现。

本发明提供的一种结合BERT模型的图像描述生成方法，首先提取图像的特征向量，对特征向量进行压缩、维度扩充，其次，用外部语料数据扩充词典，然后，将特征向量和词典输入基于端到端加入注意力机制的图像描述生成模型，生成弱语义描述语句A，最后，通过BERT模型对弱语义描述语句A进行语义调整，获取完整的图像描述语句。

基于一种结合BERT模型的图像描述生成方法，包括以下步骤：

①提取特征向量：采用图像特征提取模型提取出图像的特征向量，并表示成固定维度；

②特征向量压缩、维度扩充：对特征向量进行特征嵌入，将高维度的特征压缩为低维度的特征，然后对维度进行扩充；

③词典扩充：通过外部语料数据对图像描述生成模型所用的词典进行扩充；

④生成式图像描述模型：将特征向量和词典输入基于Seq2Seq+Attention机制的图像描述生成模型，生成弱语义描述语句A；

⑤结合BERT模型进行语义调整：通过BERT模型的上下文预测功能，对弱语义描述语句A中的语义表达进行调整；

⑥图像描述语句：获取完整的图像描述生成语句。

所述步骤①中，图像特征提取采用ResNet50模型，提取出的图像特征维数为2048维。

所述步骤②中，将原有的2048维特征压缩为128维，再运用特征向量扩充得到(None，1，128)的张量。

所述步骤③中，词典扩充采用维基百科各领域文本数据，并用分词后的词语对词典进行扩充。

所述步骤④中，图像描述生成模型由Seq2Seq+Attention机制的编码器和基于LSTM的解码器组成，并采用Attention机制来增大重要信息权重。

所述步骤③分为以下步骤：