[发明专利]一种图像描述模型的训练方法及训练装置

说明书

本申请公开了一种图像描述模型的训练方法及训练装置。所述训练方法包括：针对图文对训练集中任一候选图像，首先输入词粒度训练后的图像描述模型得到候选预测文本，然后将候选图像和候选预测文本输入预训练的图文匹配模型确定图文相似度后，再将候选预测文本和候选标注文本的CIDEr与图文相似度按照预设比例相加，得到当前奖励值，根据当前奖励值获取参数更新梯度，进而完成词粒度训练后的图像描述模型在句子级别的微调。整个训练方法利用强化学习的方法把预训练的图文匹配模型与图像描述模型联系起来，使得训练后的图像描述模型能够生成与实际图像匹配程度较高的预测描述文本，可以提高图像描述模型的预测精度。

技术领域

本申请涉及显示技术领域，特别涉及一种图像描述模型的训练方法及训练装置。

背景技术

图像描述是指根据图像生成一段用于介绍图像内容的描述文本，类似于“看图说话”，是近些年的研究热点。将图像描述应用在智能设备(比如智能电视)上可以提升用户与智能设备的交互体验，然而，图像描述对于人来说较为简单，但是由于图像所涉及的场景众多，且图像中实体的属性以及各个实体之间的关系千变万化，因此对于智能设备而言，准确地进行图像描述充满了挑战。

智能设备可以采用训练好的图像描述模型来生成图像的预测描述文本，图像描述模型主要采用编码解码结构，并在解码过程中引入注意力机制，进而使得生成预测描述文本中的目标词时可以关注到图像中对应的目标区域。目前对图像描述模型进行训练，主要是利用图文对训练集先对图像描述模型进行词粒度训练，在图像描述模型的参数收敛后，再利用图文对训练集对图像描述模型进行句子粒度训练。其中，句子粒度训练是将图文对训练集中任一候选图文对中的候选图像输入图像描述模型，得到对应的候选预测文本后，确定候选预测文本与候选图像所对应的候选标注文本的CIDEr(表示文本tf-idf向量的相似度的指标)，再利用强化学习的方法(例如采用自评价序列训练)调整图像描述模型的参数，即将CIDEr作为图像描述模型所能得到的当前奖励值，根据当前奖励值获取图像描述模型的参数更新梯度，根据参数更新梯度确定图像描述模型的更新参数，如此不断调整图像描述模型的参数，直至完成训练。

上述训练方法在训练过程中，主要是将CIDEr作为模型调参的标准，然而，对于同一候选图像，可能出现候选预测文本与候选标注文本的CIDEr较低，但是实际意义却相同的情况，也可能出现候选预测文本与候选标注文本的CIDEr较高，但是实际意义却完全不同的情况，因此，采用上述训练方法进行训练，会使图像描述模型生成的预测描述文本与实际图像的匹配程度较低。

发明内容

本申请实施例提供一种图像描述模型的训练方法及训练装置，可提升图像描述模型生成的预测描述文本与实际图像的匹配程度。

第一方面，本申请实施例提供一种图像描述模型的训练方法，所述训练方法包括：

获取图文对训练集，所述图文对训练集包括多个图文对，每个图文对包括图像，以及描述图像内容的标注文本；

采用所述图文对训练集对图像描述模型进行词粒度训练，得到中间模型；

利用所述图文对训练集中任一候选图文对，对所述中间模型执行目标训练步骤，直至所述中间模型的模型参数收敛，所述候选图文对包括候选图像以及候选标注文本，其中，所述目标训练步骤包括：

将所述候选图像输入所述中间模型进行图像描述，得到候选预测文本，所述图像描述包括图像特征提取和图像描述文本生成；

确定所述候选图像与所述候选预测文本的图文相似度；

确定所述候选预测文本与所述候选标注文本的CIDEr；

根据所述图文相似度、预设的模型超参数以及所述CIDEr，得到所述中间模型进行图像描述所能得到的当前奖励值；

根据所述当前奖励值，获取所述中间模型的参数更新梯度；