[发明专利]一种结合实体图像的知识表示学习方法及服务器

说明书

本发明公开一种结合实体图像的知识表示学习方法及服务器。其中，所述方法包括：根据获取到的实体图像，获得每个与实体对应的实体图像在知识空间上的表示；根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，构建所述实体基于图像的表示；根据知识图谱的三元组以及预设的训练模型，联合训练所述实体基于图像的表示和所述实体基于结构的表示，获得所述实体的知识表示。本发明提供的结合实体图像的知识表示学习方法及服务器，能够将实体图像信息应用到知识表示学习中，提高了知识表示学习的准确性。

技术领域

本发明涉及人工智能技术领域，具体涉及一种结合实体图像的知识表示学习方法及服务器。

背景技术

随着社会飞速发展，我们已经进入信息爆炸的时代，每天都会有海量知识与信息产生。这些多源信息往往具有各种异质的形态，以文字或者图像等非结构化多模态的方式进行储存。而人工智能相关应用，如信息检索、问答系统等更需要结构化信息。随着用户对信息筛选的需求日益增加，如何从海量数据中挖掘并运用知识成为一个研究难题。

为了解决这个难题，知识图谱应运而生。知识图谱是一个结构化的知识储存数据库，它将世界上的具象事物(如人名、地名等专有名词)与抽象概念表示为实体，将实体之间的联系表示为关系。实体与实体之间的关系构成一张巨大的有向图，其中实体可以看作图中的节点，而关系则可以看作图中的边。在知识图谱中，知识常常以三元组的形式进行储存。例如，北京是中国的首都这个知识，在知识图谱中使用三元组(北京，是…首都，中国)进行表示与储存。知识图谱通过三元组的形式将知识结构化储存，被广泛运用于信息检索、问答系统和智能对话系统等知识驱动的人工智能任务中。在拥有知识图谱之后，我们需要在知识驱动的应用中使用知识，而知识表示是不可或缺的工具。知识表示学习基于分布式表示的思想，将实体与关系映射到低维语义向量空间中，很大程度上解决了计算复杂度高和数据稀疏等问题。但是，现有技术中的绝大多数知识表示学习主要知识图谱三元组自身的结构化信息，而忽略了实体图像具有的视觉信息。

因此，如何提出一种方法，能够将实体图像信息应用到知识表示学习中，以提高知识表示学习的准确性，成为业界亟待解决的重要课题。

发明内容

针对现有技术中的缺陷，本发明提供一种结合实体图像的知识表示学习方法及服务器。

一方面，本发明提出一种结合实体图像的知识表示学习方法，包括：

根据获取到的实体图像，获得每个与实体对应的实体图像在知识空间上的表示；

根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，构建所述实体基于图像的表示；

根据知识图谱的三元组以及预设的训练模型，联合训练所述实体基于图像的表示和所述实体基于结构的表示，获得所述实体的知识表示；其中，所述知识图谱三元组为预先获取的，并且包括所述实体。

另一方面，本发明提供一种服务器，包括：

获得单元，用于根据获取到的实体图像，获得每个与实体对应的实体图像在知识空间上的表示；

构建单元，用于根据各个所述与实体对应的实体图像在知识空间上的表示以及所述实体基于结构的表示，构建所述实体基于图像的表示；

处理单元，用于根据知识图谱的三元组以及预设的训练模型，联合训练所述实体基于图像的表示和所述实体基于结构的表示，获得所述实体的知识表示；其中，所述知识图谱的三元组为预先获取的，并且包括所述实体。

本发明提供的结合实体图像的知识表示学习方法及服务器，由于能够根据实体图像获得与实体对应的实体图像在知识空间上的表示，并构建所述实体基于图像的表示，从而根据至少一组实体基于图像的表示和实体基于结构的表示以及预设的训练模型，获得实体的知识表示，能够将实体图像信息应用到知识表示学习中，提高了知识表示学习的准确性。