[发明专利]基于Actor-Critic生成式对抗网络的图片描述生成方法及系统

权利要求书

1.一种基Actor-Critic生成式对抗网络的图片描述生成方法，其特征在于，包括以下步骤：

(1)获取已知文本描述的图片并进行预处理，构建训练集；

(2)基于生成对抗网络和Actor-Critic算法搭建目标网络，所述的目标网络包含生成器网络、判别器网络和Critic网络；

(3)将训练集中的图片本身及其文本描述输入到目标网络中，对生成器和判别器进行预训练和对抗训练，再采用Actor-Critic算法对生成器的参数进行单步更新；

(4)将需要生成文本描述的目标图片输入到训练好的生成器中，得到该目标图片的文本描述。

2.根据权利要求1所述的基于Actor-Critic生成式对抗网络的图片描述生成方法，其特征在于，步骤(1)包括：

(1-1)获取已知文本描述的图片数据集；

(1-2)对数据集中的图片进行图像增强，对文本描述进行数据清洗；

(1-3)将处理后的图片和对应的文本描述保存为指定格式的文件。

3.根据权利要求1所述的基于Actor-Critic生成式对抗网络的图片描述生成方法，其特征在于，步骤(2)包括：

(2-1)搭建生成器网络，所述的生成器网络由卷积神经网络、循环神经网络以及一个全连接层组成；

所述的卷积神经网络采用HCP(Hypotheses-CNN-Pooling)结构，所述的循环神经网络采用长短期记忆网络结构；

(2-2)以编码-解码模型为模型架构，以长短期记忆网络为网络模型，搭建判别器网络；

(2-3)搭建Critic网络，所述Critic网络为多层的长短期记忆网络，用以指导生成器网络参数的更新。

4.根据权利要求3所述的基于Actor-Critic生成式对抗网络的图片描述生成方法，其特征在于，生成器网络中语言模型通过以下方法构建：

(a)利用Word2Vec为对数据集中文本描述的每个单词构建词向量，删除出现次数较少的单词，保留出现频繁的单词；

(b)分别将标记性单词sos、eos添加到句子的开头、结尾，并随机生成标记性单词的词向量；

(c)将Word2Vec构建的词向量和标记性单词的词向量合并，得到语言模型。

5.根据权利要求3所述的基于Actor-Critic生成式对抗网络的图片描述生成方法，其特征在于，采用HCP提取图片的高级语言特征包括：

(i)采用多尺度组合分组(Multiscale Combinatorial Grouping，MCG)算法将输入图片分割为多个似物性推荐框(Hypotheses)；

(ii)采用归一化切割(Normalized cuts，Ncut)算法对似物性推荐框进行聚类，分为M类；(iii)在每一类中，按照多尺度组合分组算法给出的预测分数对似物性推荐框进行排序，在M类中各取出分数最高的K个似物性推荐框；

包括原图，最终得到MK+1个图像；

(iv)将得到的MK+1个图像输入到HCP的卷积神经网络中，经过最大池化层(MaxPooling)，最终得到输入图片的高级语言特征。

6.根据权利要求1所述的基于Actor-Critic生成式对抗网络的图片描述生成方法，其特征在于，步骤(3)包括：

(3-1)采用极大似然估计方法(Maximum Likelihood Estimate，MLE)对生成器进行预训练；

(3-2)将训练集中的图片输入预训练好的生成器中，以生成器生成的数据作为假样本，以图片对应的文本描述作为真样本，来预训练判别器；

(3-3)采用Actor-Critic算法对已训练好的生成器和判别器进行对抗训练。