[发明专利]一种基于自适应特征融合的多模态实体对齐方法

权利要求书

1.一种基于自适应特征融合的多模态实体对齐方法，其特征在于，包括以下步骤：

步骤1，获取两个多模态知识图谱的数据，以及，其中E代表实体集合；R代表关系集合；T代表三元组集合，是E×R×E的子集；I代表实体相关联的图片集合；

步骤2，在结构特征学习模块中，利用图卷积神经网络分别学习所述两个多模态知识图谱的实体的结构向量，生成各自实体的结构特征表示；

步骤3，在视觉特征处理模块中，分别生成各自实体的视觉特征表示；

步骤4，通过自适应特征融合模块，结合两个多模态知识图谱的实体结构特征和实体视觉特征进行实体对齐；

步骤4中所述的自适应特征融合模块，对于每个实体对，，，计算和之间的相似度得分，利用该相似度得分来预测潜在的对齐实体，所述的相似度得分为：

,

和分别表示实体的结构特征表示和视觉特征表示的相似度，、分别代表结构特征表示和视觉特征表示的贡献率权重；

,

，

其中，K、b、a为超参数，degree表示实体的度，N_hop表示实体与种子实体关联密切程度，所述种子实体为用于训练的已经对齐的实体：

,

其中，，分别表示距离种子实体1跳和2跳的数量；w₁、w₂为超参数。

2.根据权利要求1所述的一种基于自适应特征融合的多模态实体对齐方法，其特征在于，在步骤3的视觉特征处理模块中包括，步骤301，采用预训练的图像-文本匹配模型CVSE，生成图片与实体相似度；步骤302，设置相似度阈值过滤噪声图片；步骤303，基于图片与实体相似度赋予图片相应的权重，生成实体的视觉特征表示。

3.根据权利要求2所述的一种基于自适应特征融合的多模态实体对齐方法，其特征在于，在步骤301中，使用预训练的图像-文本匹配模型计算实体图片集中各个图片的相似度得分，采用预训练的共识感知视觉语义嵌入模型CVSE，CVSE模型输入为实体e_i的图片嵌入p_i，和文本信息t_i，其中，图片嵌入，n为实体对应图片集中图片的数量，36×2048为预训练的目标检测算法Faster-RCNN为每张图片生成的特征向量维度，输入模型的实体文本信息t_i通过将实体名拓展为句子：t_i={A photo of Entity Name.}得到；接着将图片嵌入和文本信息送入模型CVSE中，获取实体图像集中图片的相似度得分：

,

其中，CVSE的Softmax层被移除，模型输入为图片嵌入p_i和文本信息t_i，生成多张图片的相似度得分，n为实体对应图片集中图片的数量；

在步骤302中，设置相似度阈值α，以过滤噪声图片：

,

其中set(i)代表初始图片集，set(i)’表示过滤掉噪声图片后的图片集，Sim_v(j’)表示图片j’与实体的相似度得分；

在步骤303中，生成实体e_i更精确的视觉特征表示V_i:

,

其中，表示实体i的视觉特征；为Resnet模型生成的图像特征，n’为去除噪声后的图片数量，Att_i表示图片注意力权重：

Att_i = Softmax(Sim_v’),

其中 Sim_v’为图片集set(i)’的相似度得分。