[发明专利]一种结合BERT模型的图像描述生成方法

权利要求书

1.一种结合BERT模型的图像描述生成方法，其特征在于：首先提取图像的特征向量，对特征向量进行压缩、维度扩充，其次，用外部语料数据扩充词典，然后，将特征向量和词典输入基于端到端加入注意力机制的图像描述生成模型，生成弱语义描述语句A，最后，通过BERT模型对弱语义描述语句A进行语义调整，获取完整的图像描述语句；

包括以下步骤：

①提取特征向量：采用图像特征提取模型提取出图像的特征向量，并表示成固定维度；

②特征向量压缩、维度扩充：对特征向量进行特征嵌入，将高维度的特征压缩为低维度的特征，然后对维度进行扩充；

③词典扩充：通过外部语料数据对图像描述生成模型所用的词典进行扩充；

④生成式图像描述模型：将特征向量和词典输入基于Seq2Seq+Attention机制的图像描述生成模型，生成弱语义描述语句A；

⑤结合BERT模型进行语义调整：通过BERT模型的上下文预测功能，对弱语义描述语句A中的语义表达进行调整；

⑥图像描述语句：获取完整的图像描述生成语句。

2.如权利要求1所述的结合BERT模型的图像描述生成方法，其特征在于：所述步骤①中，图像特征提取采用ResNet50模型，提取出的图像特征维数为2048维。

3.如权利要求1所述的结合BERT模型的图像描述生成方法，其特征在于：所述步骤②中，将原有的2048维特征压缩为128维，再运用特征向量扩充得到(None，1，128)的张量。

4.如权利要求1所述的结合BERT模型的图像描述生成方法，其特征在于：所述步骤③中，词典扩充采用维基百科各领域文本数据，并用分词后的词语对词典进行扩充。

5.如权利要求1所述的结合BERT模型的图像描述生成方法，其特征在于：所述步骤④中，图像描述生成模型由Seq2Seq+Attention机制的编码器和基于LSTM的解码器组成，并采用Attention机制来增大重要信息权重。

6.如权利要求1所述的结合BERT模型的图像描述生成方法，其特征在于：所述步骤③分为以下步骤：

(3.1)采集各领域的维基百科文本数据；

(3.2)对文本数据进行分词，去除停用词处理；

(3.3)将分完词的词语加入到词典中，去除重复词语，并对每个词语进行编号；

(3.4)完成词典扩充。

7.如权利要求3所述的结合BERT模型的图像描述生成方法，其特征在于：采用Embedding方式将原始提取的2048维图像特征向量压缩为128维。

8.如权利要求1所述的结合BERT模型的图像描述生成方法，其特征在于：所述步骤④分为以下步骤：

(4.1)将特征向量和词典输入Seq2Seq+Attention机制的编码器，作为输出向量；

(4.2)在第一时刻输入步骤(4.1)中的输出向量，之后每个时刻输入的数据由前一时刻的输出组成，再通过单向LSTM解码器，获取弱语义描述语句A。

9.如权利要求1所述的结合BERT模型的图像描述生成方法，其特征在于：所述步骤⑤分为以下步骤：

(5.1)通过BERT模型判断弱语义描述语句A中，词语的词性；

(5.2)若词性为动词，将当前词语所在的语句输入BERT模型中，预测接下来的词语，描述生成的词语采用BERT模型预测的词语；

(5.3)若词性为非动词，描述生成的词语采用解码器输出的词语；

(5.4)循环执行(5.1)～(5.3)，获取完整的图像描述生成语句。