[发明专利]一种结合实体图像的知识表示学习方法及服务器

权利要求书

1.一种结合实体图像的知识表示学习方法，其特征在于，包括：

根据获取到的实体图像，获得每个与实体对应的实体图像在知识空间上的表示；

根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，构建所述实体基于图像的表示；

根据知识图谱的三元组以及预设的训练模型，联合训练所述实体基于图像的表示和所述实体基于结构的表示，获得所述实体的知识表示；其中，所述知识图谱的三元组为预先获取的，并且包括所述实体；

所述预设的训练模型包括能量函数和基于边际的评价函数：

所述能量函数表示如下：

E(h，r，t)＝α₁||h_s+r-t_s||+α₂||h_I+r-t_s||+α₃||h_s+r-t_I||+α₄||h_I+r-t_I||

其中，α₁，α₂，α₃，α₄为超参数，h为所述三元组中的头实体，r为所述三元组中的关系，t为所述三元组中的尾实体，h_s为所述三元组中的头实体基于结构的表示，t_s为所述三元组中的尾实体基于结构的表示，h_I为所述三元组中的头实体基于图像的表示，t_I为所述三元组中的尾实体基于图像的表示；

所述基于边际的评价函数表示如下：

其中，γ为超参数，h′为负例三元组中的头实体，r′为所述负例三元组中的关系，t′为所述负例三元组中的尾实体，T为所述三元组的集合，T′为所述负例三元组的集合，所述负例三元组通过将所述三元组中的头实体、关系或者尾实体随机替换一个得到，所述负例三元组的集合中不包括任何一个所述三元组。

2.根据权利要求1所述的方法，其特征在于，所述根据获取到的实体图像，获得每个与实体对应的实体图像在知识空间上的表示包括：

构建所述实体的数据集并对所述实体的数据集进行预处理，所述数据集包括所述实体图像；

根据预处理后的所述实体图像以及预设规则，获得每个所述与实体对应的实体图像的特征向量；

根据每个所述与实体对应的实体图像的特征向量，获得每个所述与实体对应的实体图像在知识空间上的表示。

3.根据权利要求2所述的方法，其特征在于，所述预设规则包括：

基于深度神经网络模型对所述预处理后的所述实体图像进行分类，获得每个所述与实体对应的实体图像；

将每个所述与实体对应的实体图像通过所述深度神经网络模型获得的隐藏向量，作为每个所述与实体对应的实体图像的特征向量。

4.根据权利要求1所述的方法，其特征在于，所述根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，构建所述实体基于图像的表示包括：

根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，获得每个所述与实体对应的实体图像的注意力值；

根据各个所述与实体对应的实体图像在知识空间上的表示以及每个所述与实体对应的实体图像的注意力值，构建所述实体基于图像的表示。