[发明专利]多模态文物数据的命名实体识别方法与装置

权利要求书

1.一种基于自适应联合注意力网络的多模态文物数据的命名实体识别NER方法，所述多模态文物数据包括文本和图像信息；结合视觉信息在多模态文物数据上识别命名实体；基于所述自适应联合注意力网络构建处理多模态数据的神经网络模型，其用于学习文本和图像之间的共享语义，所述模型包括五个部分：文本特征选择、图像特征提取、文本注意力模块、自适应联合注意力网络、解码器；其特征在于：

首先从序列标注的角度进行处理；将NER任务看作序列标注问题，以编码器-解码器为基本框架，在文本和图像特征融合方面采用自适应联合注意力网络自动融合信息，采用门控单元来自动选择是否需要视觉信息；并使用过滤门模块来过滤图像引入带来的噪声；

文本输入基于注意力机制进行特征选择：通过分词和词性标注，从而得到某个词的词向量w′_t和词性向量w″_t；

其中，w′、w″、b′和b″为参数，表示矩阵的级联，⊙表示矩阵的数乘，tanh与softmax为激活函数，α_wt表示词向量和词性向量的注意力权值，基于上述运算，新的词向量可以表示为w_t；

采用预训练的VGG-16网络进行图像特征提取，为了得到图像不同区域的特征，选择最后一层池化层conv3-512作为特征图；首先将文物图像进行归一化为224x224像素大小，进行减均值操作，输入VGG网络得到特征图，尺寸为7x7x512其中7x7代表给定图像的区域个数，512代表每个区域的特征向量维度；因此一幅图像可以表示为：其中，d为向量维度，N为特征区域的个数，v_i为每个区域的特征向量；

文本特征的编码器选择Bi-LSTM网络，通过解码器的隐藏层状态利用注意力机制来获得编码器当前词输出的新的语义向量；这种方式考虑了上下文语境，可以克服语言歧义；计算公式如下：

c_t＝softmax(α₁)*H

其中，是输入序列经编码器Bi-LSTM输出的隐藏状态，d₁为Bi-LSTM隐藏神经元的个数，n为输入序列的长度；H^T为H的转置；W_a为参数矩阵；为上一个时间步解码器的隐藏层状态，d₂为解码器隐藏神经元的个数；*为向量和矩阵进行元素相乘；C_t为经过上述运算后得到的编码语义向量；

所述模型还包括门控融合模块，门控融合模块自适应的选择应该融合多少图像信息；该模块可以自动组合基于注意力机制得到的图像和词的特征；对于每个词，得到一个基于词注意力的视觉特征和一个基于视觉注意力的文本特征然后通过一个自适应控制门来融合二者；定义如下：

其中，W_v、和W_g为参数，和为经过tanh函数变换后新的视觉向量和文本向量；表示向量的级联，σ表示sigmoid函数，g_j是应用到和的自适应门，来融合视觉和文本向量；m_j是融合后的多模态特征。

2.一种基于自适应联合注意力网络的多模态文物数据的命名实体识别NER装置，所述多模态文物数据包括文本和图像信息；结合视觉信息在多模态文物数据上识别命名实体；基于所述自适应联合注意力网络构建处理多模态数据的神经网络模型，其用于学习文本和图像之间的共享语义，所述装置包括五个部分：文本特征选择、图像特征提取、文本注意力模块、自适应联合注意力网络、解码器；其特征在于：

所述装置用于，首先从序列标注的角度进行处理；将NER任务看作序列标注问题，并结合注意力机制，以编码器-解码器为基本框架，在文本和图像特征融合方面采用自适应联合注意力网络自动融合信息，采用门控单元来自动选择是否需要视觉信息；基于自适应联合注意力网络，结合视觉信息在多模态文物数据上识别命名实体；并使用过滤门单元来过滤图像引入带来的噪音；

所述装置进一步包括，模型输入基于注意力机制文本输入特征选择：通过分词和词性标注，得到某个词的词向量w′_t和词性向量W″_t；

其中，W′、w″、b′和b″为参数，表示矩阵的级联，⊙表示矩阵的数乘，tanh与softmax为激活函数，α_wt表示词向量和词性向量的注意力权值，基于上述运算，新的词向量可以表示为w_t；

所述装置进一步包括，采用预训练的VGG-16网络进行图像特征提取，为了得到图像不同区域的特征，选择最后一层池化层的特征图；首先将文物图像进行归一化为224X224像素大小，进行减均值操作，输入VGG网络得到特征图，尺寸为7X7X512其中7X7代表给定图像的区域个数，512代表每个区域的特征向量维度；因此一幅图像可以表示为：其中，d为向量维度，N为特征区域的个数，v_i为每个区域的特征向量；

所述装置进一步包括，文本特征的编码器选择Bi-LSTM网络，将文本注意力机制引入解码器结构中，当对当前词语进行分类时，同时考虑当前编码状态与其上下文的语义编码，从而得到的编码向量不再局限于固定隐向量，而会融入上下文的语义；计算公式如下：

c_t＝softmax(α₁)*H；

其中，是输入序列经编码器Bi-LSTM输出的隐藏状态，d₁为Bi-LSTM隐藏神经元的个数，n为输入序列的长度；H^T为H的转置；W_a为参数矩阵；为上一个时间步解码器的隐藏层状态，d₂为解码器隐藏神经元的个数；*为向量和矩阵进行元素相乘；C_t为经过上述运算后得到的编码语义向量；

所述装置进一步包括门控融合模块，门控融合模块自适应的选择应该融合多少图像信息；该模块可以自动组合基于注意力机制得到的图像和词的特征；对于每个词，得到一个基于词注意力的视觉特征和一个基于视觉注意力的文本特征然后通过一个自适应比例门来融合二者；定义如下：

其中，W_v、和W_g为参数，和为经过tanh函数变换后新的视觉向量和文本向量；表示向量的级联，σ表示sigmoid函数，g_j是应用到和的自适应门，来融合视觉和文本向量；m_j是融合后的多模态特征。