[发明专利]一种基于多智能体强化学习的知识图谱多跳推理方法

说明书

本发明公开了一种基于多智能体强化学习的知识图谱多跳推理方法，针对知识图谱推理过程中存在的长路径推理性能差、只注重关系选择而忽略实体选择重要性和未能充分利用实体、关系多重语义的问题。该发明含有以下步骤，将知识图谱作为智能体感知的环境，并对知识图谱进行预处理；设计强化学习算法中用于训练智能体的网络结构；初始化所有智能体的状态信息和算法参数；将预处理的知识图谱作为智能体的环境，利用强化学习算法使智能体与环境交互进行迭代学习，得到训练完成的策略网络；使用训练完成的策略网络对待处理的知识图谱进行推理预测。本技术能够克服实体或关系的多重语义带来的语义歧义问题，从而提高智能体路径推理的准确性。

技术领域

本发明涉及机器学习技术领域，特别是涉及一种基于多智能体强化学习的知识图谱多跳推理方法。

背景技术

知识图谱是一种以图模型的形式来描述各类概念、实体及其关系的结构化语义知识库。具体来说，知识图谱定义为由节点和边组成的有向图，常表示为事实三元组(头实体、关系、尾实体)的形式，实体(头实体、尾实体)对应图上的节点，实体间的关联关系对应图上节点间的连边。随着知识图谱研究和应用的深入，知识图谱被广泛应用于不同的下游任务，如问答系统、信息检索和推荐系统等。然而，由于构建知识图谱的原始实体和关系数据的规模有限，存在隐含的知识无法获取、提取的知识含有大量重复信息等问题，导致构建的知识图谱不完整，这对应用知识图谱的下游任务带来了很多障碍，限制了知识图谱应用的进一步发展。知识图谱推理，即基于知识图谱的知识推理作为解决上述问题的重要方法，引起了研究学者的广泛关注。知识图谱推理方法旨在根据知识图谱中已有的三元组(知识)推理出新的三元组或者检测错误三元组，以完全知识图谱的补全或去噪等。知识图谱推理主要包括链接预测和事实预测任务，链接预测指三元组的实体或关系缺失的情形下，推理出具有一定可信度的实体或关系，事实预测则是判断三元组正确与否。

现有知识图谱推理方法主要包括基于逻辑的推理、基于嵌入表示学习的推理和基于路径的推理。以ProPPR、NeuralLP等为代表的基于逻辑的推理方法通过一阶谓词逻辑、描述逻辑或者数字逻辑规则等生成推理规则，并根据知识图谱中已有的三元组推理出新的三元组。该类方法虽然推理准确度较高，但是推理规则获取难度大、推理能力受到限制、难以应用到大型知识图谱中。以TransE、TransR等为代表的基于嵌入表示学习的推理方法将知识图谱中的实体和关系映射到低维向量空间，然后根据实体、关系的低维向量表示计算知识图谱中三元组的合理性。该类方法虽然计算效率高，但是没有充分利用知识图谱中关系路径的信息，并且由于嵌入表示方法的黑盒特性，导致推理结果缺乏可解释性。以PRA、DeepPath为代表的基于路径的推理方法将关系路径作为特征，在知识图谱上进行随机游走来执行深度优先搜索过程，从而查询相关的推理路径。该方法在得到推理结果的同时，也可以给出具体的推理路径。其中，基于强化学习的方法是该类方法的主流研究方向之一，其将知识图谱推理过程建模为序列决策问题，通过对知识图谱中关系和实体进行推理来完成知识图谱补全。

然而，现有基于强化学习的推理方法存在如下缺陷：1.在进行路径推理时，现有单智能体路径推理模型的性能严重依赖于推理路径的长度，随着推理路径长度的增加，模型搜索路径的效率降低、推理性能急剧下降，这限制了模型在较长推理路径的使用；2.由于知识图谱中的实体和关系具有不同的性质，在路径推理时实体路径和关系路径的重要性也不相同。但是现有单智能体路径推理模型将智能体的动作选择视为关系或关系-实体对选择，其只注重关系选择而忽略实体选择的重要性，导致在面对1-N/N-N关系、实体选择的情况时出现随机选择实体的问题；3.知识图谱中的实体或关系具有不同的含义，同一实体面对不同的查询关系时，实体邻居关系的侧重程度也不相同，而现有推理模型没有挖掘实体或关系的多重语义，在进行路径推理时会积累语义歧义，导致推理性能的下降。因此需要从技术上解决上述的基于强化学习知识图谱推理模型存在的问题。

发明内容

本发明针对知识图谱推理过程中存在的长路径推理性能差、只注重关系选择而忽略实体选择重要性和未能充分利用实体、关系多重语义的问题，提供了一种使知识图谱推理性能更高、实体选择更合理的基于多智能体强化学习的知识图谱多跳推理方法。