[发明专利]一种基于生成对抗网络的图像自动文本标注方法

权利要求书

1.一种基于生成对抗网络的图像自动文本标注方法，其特征在于，包括以下步骤：

S 101将CNN多标签分类模块和LSTM语句生成模块标注作为生成器，将LSTM语句特征提取模块和分类器标注作为判别器；

S 102所述CNN多标签分类模块提取到图片的信息，然后通过LSTM语句生成模块生成语句，生成的语句为所述生成器生成的假的语句；

S 103将生成的语句和真实的语句输入进行训练，所述LSTM语句特征提取模块对生成的语句和真实的语句进行训练，直至所述判别器无法判别真实语句和生成语句。

2.根据权利要求1所述的基于生成对抗网络的图像自动文本标注方法，其特征在于，S 103中还包括通过所述判别器判别通过所述生成器生成的语句是否描述图片的方法，包括以下步骤：

S 201将所述生成器生成的句子记为S_fake,真实的句子记为S_real,训练的一张图片记为I_match，引入一张不匹配的图片记为I_mismatch；

S 202生成语句S_fake和真实语句S_real由LSTM语句特征提取模块进行特征提取，提取到的特征、Match图像特征、Mismatch图像特征进行特征结合，获得语句特征集合；

S 203所述分类器将语句特征集合中的语句特征进行真伪判别，判别生成的语句是否属于训练图像。

3.根据权利要求2所述的基于生成对抗网络的图像自动文本标注方法，其特征在于，S203中，分类器在判别生成的语句是否属于训练图像的过程中包括以下组合：

S_fake I_mismatch无法通过判别器；

S_fake I_match半通过判别器，获得score s_f；

S_real I_mismatch半通过判别器，获得score s_w；

S_real I_match通过判别器，获得score s_r。

4.根据权利要求1-3任意一项所述的基于生成对抗网络的图像自动文本标注方法，其特征在于，所述判别器通过训练识别真实语句，并且识别真实语句是否匹配图片，所述判别器的损失函数表示为：

5.根据权利要求1-3任意一项所述的基于生成对抗网络的图像自动文本标注方法，其特征在于，所述生成器利用多标签图像自动语句标注模型生成逼近真实语句的句子，所述生成器的损失函数表示为：