[发明专利]一种基于点击与视觉融合的弱监督双线性深度学习方法

摘要

本发明公开了一种基于点击与视觉融合的弱监督双线性深度学习方法。本发明包括如下步骤：1、从点击数据集中提取每幅图像的文本构成的点击特征，并通过合并语义相近的文本，在合并后的文本空间下构建新的低维紧凑的点击特征；2、点击与视觉特征融合的深度模型构建；3、BP学习网络模型参数；4、计算每一个训练样本的模型预测损失，并构造样本集的相似度矩阵，同时利用样本损失和相似度矩阵学习样本可靠性，利用可靠性给样本加权；5、重复步骤3和4，迭代地优化神经网络模型和样本权重，从而训练整个网络模型直到收敛。本发明融合了点击数据和视觉特征从而构造了新的双线性卷积神经网络框架，能用来更好的对细粒度图像进行识别。

主权项

一种基于点击与视觉融合的弱监督双线性深度学习方法，其特征在于包括如下步骤：步骤(1)、点击数据预处理：从点击数据集中提取每幅图像的文本构成的点击特征，并通过合并语义相近的文本，在合并后的文本空间下构建新的低维紧凑的点击特征；步骤(2)、点击与视觉特征融合的深度模型构建：对样本基于可靠性加权，构建一个带权重的三通道深度神经网络模型，其中两个通道提取图像视觉特征，第三通道处理步骤1的点击特征；将视觉与点击特征通过特征连接层进行融合；步骤(3)、BP学习模型参数：通过反向传播算法对步骤(2)中神经网络的网络模型参数进行训练，直至整个网络模型收敛；步骤(4)、学习样本可靠性：根据步骤(2)的神经网络模型，计算每一个训练样本的模型预测损失，并构造样本集的相似度矩阵，同时利用样本损失和相似度矩阵学习样本可靠性，利用可靠性给样本加权；步骤(5)、模型训练：重复步骤3和4，迭代地优化神经网络模型和样本权重，从而训练整个网络模型直到收敛。