[发明专利]一种基于无监督独特性优化的图像描述生成方法及系统

权利要求书

1.一种基于无监督独特性优化的图像描述生成方法，其特征在于,该方法的实现过程包括：

S1、获取成对的图像和人类生成的真实句子描述，并存储在训练集中；

S2、使用训练集包含的成对数据训练SentEval工具中的图像描述检索模型；

S3、构建图像描述生成模型；

S4、获取训练集的图像并输入图像描述生成模型，图像描述生成模型生成与图像相对应的句子描述，将图像和生成的句子描述作为成对数据存储在比较集中；

S5、利用训练得到的图像描述检索模型，估计比较集中成对数据的相似性，获得图像描述生成模型的损失和梯度两类参数；

S6、判断估计结果是否在设定范围内，若不在则利用步骤S5的损失和梯度调整图像描述生成模型，返回执行步骤S4，若在则输出最终图像描述生成模型。

2.根据权利要求1所述的一种基于无监督独特性优化的图像描述生成方法，其特征在于，所述图像描述生成模型采用编码器-解码器框架；

所述编码器使用在ImageNet上预训练好的ResNet-101；

所述解码器使用带有注意力机制的两层LTSM，第一层LSTM关注于视觉上的信息，第二层LSTM则关注于语言上的信息。

3.根据权利要求1所述的一种基于无监督独特性优化的图像描述生成方法，其特征在于，执行步骤S4的具体步骤包括：

S4.1、获取训练集的图像并分成多个batch，依次且循环将多个batch所包含的图像输入图像描述生成模型；

S4.2、每个batch所包含的图像输入图像描述生成模型后，图像描述生成模型生成与图像相对应的句子描述，将图像和生成的句子描述作为成对数据存储在比较集中，且在多个batch所包含的图像开始循环输入图像描述生成模型时，比较集原来存储的成对数据被清空。

4.根据权利要求3所述的一种基于无监督独特性优化的图像描述生成方法，其特征在于，执行步骤S5的具体步骤包括：

S5.1、将batch所包含的成对数据映射到同一个空间中；

S5.2、通过点积相似度、余弦相似度、对比点积相似度、对比点余弦相似度的均值来估计图像和生成句子描述两者的相似性，得到调整图像描述生成模型的损失和梯度两类参数。

5.根据权利要求4所述的一种基于无监督独特性优化的图像描述生成方法，其特征在于，执行步骤S6的具体步骤包括：

S6.1、手动设定阈值范围，并判断损失和梯度是否在阈值范围内，

a)、若在阈值范围内，则输出最终图像描述生成模型；

b)、若不在阈值范围内，则继续执行S6.2；

S6.2、根据步骤S5.2得到的损失和梯度参数调整图像描述生成模型；

S6.3、获取下一个batch所包含的图像并输入步骤S6.2调整得到的图像描述生成模型，返回执行S4.2。

6.根据权利要求5所述的一种基于无监督独特性优化的图像描述生成方法，其特征在于，得到最终图像描述生成模型后，还可以再次执行步骤S6.1-步骤S6.3，检验得到的损失和梯度两类参数是否仍在设定范围内，

a)如果检验结果仍在设定范围内，则表明最终图像描述生成模型通过检验；

b)如果检验结果不在设定范围内，则表明最终图像描述生成模型未通过检验。