[发明专利]基于多级策略和深度强化学习框架的图像中文描述系统及方法

说明书

本发明是一种基于多级策略和深度强化学习框架的图像中文描述系统及方法，属于计算机视觉和自然语言处理的交叉领域，图像中文描述方法针对图像中文描述中生成语句的连贯性不佳、可读性差、模型训练时间长等问题；基于RNN的模型，语言指标和视觉语义功能集成以进行优化。所提出的框架包括多级策略网络和多级奖励功能两个模块，引入ResNet152网络提取图像全局特征,通过双层门控循环单元网络(GRU)解码生成图像中文描述模型。本文使用AI Challenger全球AI挑战赛图像中文描述数据集进行实验，并针对词级策略网络和语言奖励功能的几种代表性图像文本模型实验结果表明，该框架在各种评估指标上均具有提升。

技术领域

本发明涉及一种图像中文描述的方法，尤其涉及基于多级策略和深度强化学习框架的图像中文描述系统及方法，属于涉及计算机视觉和自然语言处理的交叉领域。

背景技术

对于图像中文描述方法，国内外学者已经开展了相关的研究并且取得了一定的成果。图像描述的传统方法是基于模板匹配的方法和基于检索的方法两种。虽然基于模板匹配的方法和基于检索的方法实现了输入图片生成相应的描述，但使用传统的方法生成的中文描述句子单一，不具有多样性，且依赖于大规模的训练语料。针对上述问题，目前已有很多研究者利用深度学习的方法来完成图像描述任务。Mao等人提出了多模态递归神经网络(multimodal Recurrent R Neural Network，m-RNN)方法用于图像描述的生成。该网络包括两个子网络，深度递归神经网络用于文本的编码，深度卷积神经网络用于图像特征提取。两个子网络通过多模态层相互交互形成了整个m-RNN网络。Vinyal等人提出了一个神经图像描述NIC模型，该模型由卷积神经网络(Convolutional Neural Network，CNN)和循环神经网络(Recursive Neural Network，RNN)构成。模型利用Google Inception网络作为图像特征提取器，同时利用长短时记忆网络(Long-Short Term Memory，LSTM)作为文本编解码器。然而，大部分学者都把实验改进放在RNN网络的优化上，很少人能够将精力放到图像特征提取和文本预处理方面，忽略了提取的图像特征和文本向量化的好坏对最后生成的描述句子的重要影响。在文本预处理方面，针对传统向量表示方法无法表征多义性的问题，有学者提出了将预训练语言模型应用到词表示中，如Rei提出了使用词级别的语言结构来加强NER训练。Devlin等提出了采用双向Transformer语言结构来预训练模型。方法大多用中文分词工具对中文描述集进行分词，获取词语间的语义信息，无法对字的多义性建模。

图像中文是一个序列的单词预测任务。最先进的方法通常遵循编码器-解码器框架：它们使用卷积神经网络(CNN)将图像编码为视觉嵌入向量，然后使用递归神经网络(RNN)将向量解码为句子。在训练和推论过程中，他们尝试根据当前的预测上下文最大化下一个单词的概率。最近，有研究表明，强化学习(RL)适合该任务，因为RL旨在学习一种通过最大化未来累积奖励来确定顺序动作的策略。因此，RL可以帮助在句子生成过程中探索更多富有成果的语言，并且可以避免训练样本中的严重偏见。但是，现有的基于RL的图像中文方法主要依赖于单个策略网络和奖励功能，而该功能与多级(单词和句子)和多模式(视觉和视觉)的匹配度不高。

因此需要一种新颖的多级策略和用于图像中文的奖励强化学习框架，该框架可以集成基于RNN的模型，语言指标或视觉语义功能以进行优化。具体而言，多级策略网络旨在联合更新单词和句子级策略以生成单词，而多级奖励功能旨在协同利用视觉-语言和语言-语言奖励来指导策略。

发明内容

为解决目前图像转换为中文的词句匹配度不高、无法多义性建模的问题，本发明提出了基于多级策略和深度强化学习框架的图像中文描述方法；本发明的技术方案如下：

方案一：基于多级策略和深度强化学习框架的图像中文描述系统，该系统包括图像特征提取模块、多级策略网络模块、多级奖励网络模块、强化学习训练模块和语句生成模块；

其中图像特征提取模块负责预训练图像信息后传输至多级策略网络模块；