[发明专利]多模态文物数据的命名实体识别方法与装置

说明书

本发明提供了一种基于自适应联合注意力网络的多模态文物数据的命名实体识别NER方法，所述多模态文物数据包括文本和图像信息；结合视觉信息在多模态文物数据上识别命名实体；基于所述自适应联合注意力网络构建处理多模态数据的神经网络模型，其用于学习文本和图像之间的共享语义，首先从序列标注的角度进行处理；将NER任务看作序列标注问题，并结合注意力机制，以编码器‑解码器为基本框架，在文本和图像特征融合方面采用自适应联合注意力网络自动融合信息，采用门控单元来自动选择是否需要视觉信息；基于自适应联合注意力网络，结合视觉信息在多模态文物数据上识别命名实体；并使用过滤门单元来过滤图像引入带来的噪音。

技术领域

本发明涉及计算机技术领域，特别是涉及一种深度学习算法的技术领域。

背景技术

命名实体识别NER(Named Entity Recognition)，又称作“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。可以基于训练好的人工智能模型或神经网络模式识别命名实体。

命名实体识别旨在识别非结构化的数据中的命名实体。目前中英文上的通用命名实体识别任务已经取得了很好的效果。但对于文物领域，命名实体识别的研究较少，且缺少相应的训练语料和数据集，识别的实体也更加抽象(文物材质、质地等)。因此本次发明涉及文物领域的命名实体识别的研究。多模态文物数据包含：文本和图像描述。传统的命名实体识别通常仅对非结构化的文本进行处理，而文物图像往往提供了更加直观的语义描述，图像信息对于命名实体识别也是有价值的。本发明设计了一种新的模型来处理包含文本和图像的多模态文本数据。扩展了带有自适应联合注意力网络的编码器-解码器结构，以实现该任务。为了评估该模型，构建了一个包含多模态文物数据的大规模标注数据集。

发明内容

本申请实施例提供了一种命名实体识别的模型训练方法以及命名实体识别方法，用于解决目前命名实体识别技术不能利用视觉信息的不足，本发明提供了一种命名实体识别的自适应联合注意力网络用来处理多模态文物数据，提高了识别的准确率。具体包括如下技术方案：

一种基于自适应联合注意力网络的多模态文物数据的命名实体识别NER方法，所述多模态文物数据包括文本和图像信息；结合视觉信息在多模态文物数据上识别命名实体；基于所述自适应联合注意力网络构建处理多模态数据的神经网络模型，其用于学习文本和图像之间的共享语义，所述模型包括五个部分：文本特征选择、图像特征提取、文本注意力模块、自适应联合注意力网络、解码器；其特征在于：

首先从序列标注的角度进行处理；将NER任务看作序列标注问题，并结合注意力机制，以编码器-解码器为基本框架，在文本和图像特征融合方面采用自适应联合注意力网络自动融合信息，采用门控单元来自动选择是否需要视觉信息；基于自适应联合注意力网络，结合视觉信息在多模态文物数据上识别命名实体；并使用过滤门单元来过滤图像引入带来的噪音。

优选的，模型输入基于注意力机制文本输入特征选择：通过分词和词性标注，得到某个词的词向量w′_t和词性向量w″_t；

其中，w′、w″、b′和b″为参数，表示矩阵的级联，⊙表示矩阵的数乘，tanh与softmax为激活函数，α_wt表示词向量和词性向量的注意力权值，基于上述运算，新的词向量可以表示为w_t。

优选的，采用预训练的VGG-16网络进行图像特征提取，为了得到图像不同区域的特征，本发明选择最后一层池化层的特征图；首先将文物图像进行归一化为224x 224像素大小，进行减均值操作，输入VGG网络得到特征图，尺寸为7x 7x 512其中7x 7代表给定图像的区域个数，512代表每个区域的特征向量维度；因此一幅图像可以表示为：其中，d为向量维度，N为特征区域的个数，v_i为每个区域的特征向量。