[发明专利]多层次注意力机制的多模态标签推荐模型构建方法及装置

说明书

本发明公开了一种多层次注意力机制的多模态标签推荐模型构建方法及装置，提取图像的特征对图像特征使用外积，进行双线性融合后再通过一个注意力网络层，获取图像中每个区域的注意力因子，将注意力因子与原始特征进行逐元素乘积，得到最后的图像特征表达；对文本进行词嵌入并使用Bi‑LSTM网络对文本特征提取，然后通过一个注意力网络层与原始特征进行乘积，得到最后的文本信息表达。然后通过一个双线性融合层，将图像和文本特征进行融合，然后将融合后的特征输入到高层次注意力层，得到最后的联合特征表达，最后送入到分类层中，进行标签分类和推荐。在多模态信息处理的条件下，本发明联合层次注意力机制的方法提高了推荐的准确性。

技术领域

本发明涉及推荐方法及装置，具体涉及一种多层次注意力机制的多模态标签推荐模型构建方法及装置。

背景技术

多模态标签推荐，是近年来人工智能、推荐系统等领域一个非常热门的研究方向。其目的是利用多模态的信息，提高标签推荐的准确性，多模态的标签推荐无论在工业界还是学术界都有着广泛的研究需求与应用场景。如果能够借助于人工智能和深度学习的技术，实现低成本高性能的多模态标签推荐，那么无论对于学术界，还是工业界而言，都有着非常重要的意义。

传统的推荐算法，仅仅考虑单模态(图像或文本)的信息。近年来，随着深度学习的发展，深度神经网络算法以及注意力机制的广泛应用，为多模态标签推荐带来了新的研究方向。大量针对多模态特征的算法被提出，促进了该领域的快速发展。一般的特征融合方式，主要是拼接融合，加权融合等，但这些方式仅仅对特征进行了简单的拼接，没有考虑图像特征本身空间相关性和文本特征本身的时序相关性，导致特征挖掘不充分，推荐性能无法有效提升。

发明内容

本发明的目的在于提供一种多层次注意力机制的多模态标签推荐模型构建方法及装置，用以解决现有技术中的推荐方法及装置存在的没有考虑图像特征本身空间相关性和文本特征本身的时序相关性，导致特征挖掘不充分，从而造成推荐效果不好的问题。

为了实现上述任务，本发明采用以下技术方案：

一种多层次注意力机制的多模态标签推荐模型构建方法，所述的方法按照以下步骤执行：

步骤1、获取多组数据以及每组数据对应的标签，获得数据集以及标签集；

所述的每组数据包括图像数据以及文本数据；

步骤2、对所述的数据集进行预处理，获得预处理后的数据集；

其中所述的预处理包括统一图像数据的大小；

步骤3、将所述的预处理后的数据集作为输入，将所述的标签集作为参考输出，训练神经网络；

所述的神经网络包括依次串联的设置的特征提取模块、特征融合层、第一注意力层以及分类层；

所述的特征提取模块包括并行设置的文本特征提取子模块以及图像特征提取子模块；

所述的文本特征提取子模块包括依次串联的文本嵌入层、Bi-LSTM单元以及第二注意力层；

所述的图像特征提取子模块包括依次串联的特征提取网络、融合层以及第三注意力层；

获得多模态标签推荐模型。

进一步地，所述的特征融合层以及融合层中的融合方式均为双线性融合。

进一步地，所述的图像特征提取子模块中特征提取网络为VGG16网络。

一种多层次注意力机制的多模态标签推荐方法，所述的推荐方法按照以下步骤执行：

步骤A、获取一组待推荐的数据，所述的数据包括图像数据以及文本数据；