[发明专利]一种基于多预测任务的多模态知识图谱表示方法

权利要求书

1.一种基于多预测任务的多模态知识图谱表示方法，其特征在于，包括如下步骤：

基于预设的TransR模型、CBOW模型以及ResNet模型分别获取多模态知识图谱中结构化模态、语义模态和图像模态数据的向量表示；

利用Imagined方法将语义模态的向量表示和图像模态的向量表示进行匹配，对向量进行重构得到混合模态的向量表示；

基于结构化模态和混合模态的向量表示构建如下三个跨模态预测任务：基于给定头实体的结构化向量表示和尾实体的混合模态向量表示预测关系；基于给定头实体和尾实体的混合模态向量表示预测关系；基于给定头实体的混合模态向量表示和关系的向量表示预测尾实体，并针对所述三个跨模态预测任务分别利用标签平滑技术和自适应权重更新方法构建全连接神经网络的子模型；

整合面向不同预测任务的三个子模型得到完整训练模型，经过训练优化得到知识图谱不同模态下最终的向量表示。

2.根据权利要求1所述的一种基于多预测任务的多模态知识图谱表示方法，其特征在于，所述针对三个跨模态预测任务分别利用标签平滑技术和自适应权重更新方法构建全连接神经网络的子模型，具体包括如下步骤：

设计三个预测任务如下：预测任务一，基于给定头实体的结构化向量表示和尾实体的混合模态向量表示预测关系，即h_s,t_m→r_s；预测任务二，基于给定头实体和尾实体的混合模态向量表示预测关系，即h_m,t_m→r_s；预测任务三，基于给定头实体的混合模态向量表示和关系的向量表示预测尾实体，即h_m,r_s→t_s，其中h_s、h_m、t_s、t_m和r_s分别表示头节点的结构化模态向量表示、头节点的混合模态向量表示、尾节点的结构化模态向量表示、尾节点的混合模态向量表示和关系的结构化模态向量表示，

三个预测任务主要由全连接神经网络训练实现，神经网络的输入都是两个维度为2d的向量，神经网络的多层结构利用评分函数算出，s(h_s,t_m)、s(h_m,t_m)和s(h_m,r_s)分别表示三个预测任务的评分函数，公式如下：

其中，和表示解决预测任务一的子模型中神经网络第n层的权重和偏置项，M_R^T和M_E^T分别表示所有关系向量r_s构成的矩阵的转置和所有尾实体向量t_s构成的矩阵的转置，

神经网络将评分函数使用softmax层计算，可以得到子模型对于相应预测任务的预测标签向量，p_r、p_r′和p_t分别表示三个子模型针对三个预测任务生成的预测结果的向量表示：

p_r＝softmax(s(h_s,t_m))，

p_r′＝softmax(s(h_m,t_m))，

p_t＝softmax(s(h_m,r_s))。