[发明专利]对抗网络架构的优化方法、图像描述生成方法和系统

权利要求书

1.一种对抗网络架构的优化方法，其特征在于，所述方法包括以下步骤：

构建对抗网络架构；所述对抗网络架构包括：第一生成模型、第二生成模型、第一判别模型以及第二判别模型；

藉由训练图像以对所述对抗网络架构进行对抗优化训练以得到优化后的对抗网络架构；

其中，所述藉由训练图像以对所述对抗网络架构进行对抗优化训练以得到优化后的对抗网络架构的步骤包括：

藉由所述第一生成模型而生成第一图像描述；

藉由所述第二生成模型而生成第二图像描述；

藉由所述第一判别模型和所述第二判别模型而判别所述第一图像描述、所述第二图像描述以及匹配的图像描述，并输出一评分结果；

将所述评分结果反馈给所述第一生成模型和所述第二生成模型；

所述第一生成模型和所述第二生成模型根据所述评分结果生成评分更高的所述第一图像描述和所述第二图像描述，进行下一轮迭代，直至生成所述评分结果不再提高；

其中，所述藉由所述第一生成模型而生成所述第一图像描述的步骤包括：

藉由所述第一生成模型而对所述训练图像进行描述以生成若干个所述第一图像描述；

所述藉由所述第二生成模型而生成所述第二图像描述的步骤包括：

藉由所述第二生成模型而对数据库进行检索，以得到所述数据库中与所述训练图像相关的若干个所述第二图像描述，并生成图像描述候选池，其中，所述图像描述候选池包括所述第一图像描述和所述第二图像描述；

所述藉由训练图像以对所述对抗网络架构进行对抗优化训练以得到优化后的对抗网络架构的步骤还包括：

藉由所述第二生成模型而对所述图像描述候选池中的各个所述图像描述进行排序；

藉由所述第一判别模型而判别所述第一图像描述是否为所述第一生成模型生成或所述匹配的图像描述；

藉由所述第二判别模型而对各个所述图像描述与所述匹配的图像描述之间的相关度进行排序。

2.根据权利要求1所述的方法，其特征在于，所述对抗网络架构包括：第一生成模型、第二生成模型、第一判别模型以及第二判别模型；

所述藉由训练图像以对所述对抗网络架构进行对抗优化训练以得到优化后的对抗网络架构的步骤还包括：

上述过程表述为：

其中，表示第一生成模型，表示第二生成模型，表示第一生成模型的模型参数，表示第二生成模型的模型参数，表示第一判别模型，表示第二判别模型，表示数学期望，y⁺表示匹配的图像描述，y^-表示不匹配的图像描述，y^gen表示第一图像描述或第二图像描述，表示第一图像描述；表示第一生成模型的损失函数；表示第二生成模型的损失函数。

3.根据权利要求2所述的方法，其特征在于，所述藉由训练图像以对所述对抗网络架构进行对抗优化训练以得到优化后的对抗网络架构的步骤还包括：

利用梯度下降法优化所述第一判别模型和所述第二判别模型；

利用第一目标函数优化所述第一生成模型，所述第一目标函数表述为：

；

利用第二目标函数优化所述第二生成模型，所述第二目标函数表述为：

；

再利用策略梯度优化所述第一生成模型和所述第二生成模型，策略梯度函数表述为：

式中，表示第n张第一图像描述；表示第n张训练图像；

针对的策略梯度函数表述为：

式中，表示在解码过程中采用贪婪解码的结果，作为策略训练过程的基准以减少训练过程中的奖励方差；表示概率分布；

针对的策略梯度函数表述为：

其中，奖励函数分别如下：

式中，表示控制奖励权值的权重系数，表示用于计算生成质量的评价指标。