[发明专利]一种视觉问答模型训练方法及装置

权利要求书

1.一种视觉问答模型训练方法，其特征在于，包括：

获取训练样本和样本标签，所述训练样本包括样本图像和样本问题，所述样本标签包括与所述样本图像和所述样本问题对应的真实答案；

对所述样本图像和所述样本问题分别进行特征提取，得到样本图像特征信息和样本问题特征信息；

将所述样本图像特征信息和所述样本问题特征信息进行特征交叉处理，得到携带有样本问题信息的样本图像特征向量和携带有样本图像信息的样本问题特征向量；

将所述携带有样本问题信息的样本图像特征向量和所述携带有样本图像信息的样本问题特征向量输入至视觉问答模型中通过所述视觉问答模型得到预测答案，其中，所述视觉问答模型包括融合部件、计算部件和池化部件；

基于所述真实答案和所述预测答案确定损失函数的损失值；

通过所述损失函数的损失值对所述视觉问答模型进行更新。

2.根据权利要求1所述的视觉问答模型训练方法，其特征在于，所述对所述样本图像和所述样本问题分别进行特征提取，得到样本图像特征信息和样本问题特征信息，包括：

提取所述样本图像中的特征，并将提取到的样本图像特征池化处理达到目标维度，得到所述样本图像特征信息；

对所述样本问题进行编码，并提取编码后的所述样本问题中的特征，得到所述样本问题特征信息。

3.根据权利要求1所述的视觉问答模型训练方法，其特征在于，所述将所述样本图像特征信息和所述样本问题特征信息进行特征交叉处理，得到携带有样本问题信息的样本图像特征向量和携带有样本图像信息的样本问题特征向量，包括：

将所述样本图像特征信息转换为样本图像特征矩阵，将所述样本问题特征信息转换为样本问题特征矩阵；

基于所述样本图像特征矩阵和所述样本问题特征矩阵，得到交叉特征矩阵；

基于所述交叉特征矩阵，分别为所述样本图像特征矩阵中的所述样本图像信息和所述样本问题特征中的所述样本问题信息配置权重，得到所述携带有样本问题信息的样本图像特征向量和所述携带有样本图像信息的样本问题特征向量。

4.根据权利要求3所述的视觉问答模型训练方法，其特征在于，所述基于所述样本图像特征矩阵和所述样本问题特征矩阵，得到交叉特征矩阵，包括：

将所述样本图像特征矩阵和所述样本问题特征矩阵相乘，并进行归一化处理，得到交叉特征矩阵。

5.根据权利要求1所述的视觉问答模型训练方法，其特征在于，所述基于所述真实答案和所述预测答案确定损失函数的损失值，包括：

计算所述真实答案与所述预测答案之间的相似度；

根据所述真实答案与所述预测答案之间的相似度，为所述预测答案配置相似权重值，并将所述相似权重值作为损失函数的损失值。

6.根据权利要求1所述的视觉问答模型训练方法，其特征在于，所述通过所述损失函数的损失值对所述视觉问答模型进行更新，包括：

根据所述损失函数的损失值对所述样本标签进行二分类，并根据二分类的结果迭代训练并更新所述视觉问答模型。

7.根据权利要求1所述的视觉问答模型训练方法，其特征在于，所述通过所述损失函数的损失值对所述视觉问答模型进行更新，包括：

判断所述损失函数的损失值是否大于预设期望值；

若所述损失函数的损失值大于预设期望值，则调整所述视觉问答模型的参数，更新所述视觉问答模型，并继续迭代训练；

若所述损失函数的损失值小于或等于预设期望值，则结束训练。