[发明专利]一种用于视觉问答模型训练的增量型数据增强方法及应用

权利要求书

1.一种用于视觉问答模型训练的增量型数据增强方法，其特征在于，该方法包括：

获取原始训练数据集，该数据集中的训练样本的形式为图像、文本、答案，所述文本由自然语言序列形成；

获取所述原始训练数据集中的自然语言序列的句长分布和每个单词的词频分布，基于所述句长分布确定最小句子长度阈值和最大句子长度阈值；

根据所述最小句子长度阈值、最大句子长度阈值和词频分布对训练样本中的自然语言序列进行扩充，实现数据增强；

针对每一训练样本的自然语言序列，判断句子长度是否小于所述最大句子长度阈值，若是，则对该自然语言序列进行扩充，扩充后的句子长度位于最小句子长度阈值和最大句子长度阈值所组成的长度阈值范围之内，若否，则不进行扩充；

通过词频分布选取中间1/3部分的词频作为单词候选加强相应的权重，随后通过权重随机的方式选定自然语言序列中的某个单词，以紧随原单词之后重复原单词的方法进行扩充，所述权重随机指：某单词被选中的概率为“当前单词权重/当前句子所有单词权重之和”。

2.根据权利要求1所述的用于视觉问答模型训练的增量型数据增强方法，其特征在于，抓取所有句子的长度分布，该长度分布呈现正态分布，采用50%和99%确定所述最小句子长度阈值和最大句子长度阈值。

3.根据权利要求1所述的用于视觉问答模型训练的增量型数据增强方法，其特征在于，随机选定自然语言序列中的某个单词，以紧随原单词之后重复原单词的方法进行扩充。

4.一种视觉问答模型的训练方法，其特征在于，该方法包括：

模型初始化；

以权利要求1-3任一所述的增量型数据增强方法对原始训练数据集进行扩充，获取扩充训练数据集；

对扩充训练数据集中的训练样本进行特征抽取，获得文本特征和图像特征；

对所述图像特征和文本特征进行特征融合，生成融合特征，基于所述融合特征生成输出答案；

基于所述输出答案与训练样本中的初始答案计算答案误差；

基于所述答案误差对所述视觉问答模型进行参数迭代调整。

5.根据权利要求4所述的视觉问答模型的训练方法，其特征在于，所述文本特征的提取具体为：

基于时序神经网络的最大长度限制对自然语言序列进行最大长度裁剪，将裁剪后的自然语言序列送入时序神经网络提取文本特征；

所述时序神经网络包括循环神经网络模组，自然语言序列逐步输入所述循环神经网络模组中，以最后时间步的隐层特征或所有时间步的隐层特征的融合作为所述文本特征。

6.根据权利要求4所述的视觉问答模型的训练方法，其特征在于，将训练样本中的图像送入卷积神经网络中抽取相应的卷积层和全连接层特征，以最后一个卷积层的特征、倒数第二个全连接层的特征置信度或者最高的36个目标的特征作为图像特征。

7.根据权利要求4所述的视觉问答模型的训练方法，其特征在于，所述特征融合具体为：

对所述图像特征和文本特征分别通过全连接层进行特征转换，生成两个同尺寸的隐层特征，对两个隐层特征进行点乘获得融合特征；或者

对所述图像特征和文本特征分别通过全连接层进行特征转换，生成两个不同尺寸的隐层特征，通过复制扩展将两个隐层特征的尺寸调整至相同，将调整后的两个隐层特征进行点乘生成融合隐层特征，以一个全连接层对所述融合隐层特征进行特征转换，并通过另一个全连接层生成注意力特征，将所述注意力特征与图像特征进行点乘融合生成最终的融合特征。

8.根据权利要求4所述的视觉问答模型的训练方法，其特征在于，所述参数迭代调整采用的迭代方法包括二阶动量优化方法。