[发明专利]基于场景图和概念网相结合的检索知识图谱库生成方法

说明书

基于场景图和概念网相结合的检索知识图谱库生成方法，包括：1)模型预训练：在神经网络上对输入数据进行预训练，检测图片中出现的物体种类和其位置；2)场景图的训练：对模型预训练的结果进行无偏训练，并应用神经网络模型最终输出与场景图相关信息的文件，预测出图片中不同种类之间的关系；3)知识图谱的自动扩充；4)对于训练完成的场景图模型进行测试；5)将场景图和概念网相关的文件信息进行提取并处理，然后导入到检索数据库中，最终组成本检索数据库；将场景图中相似度高的节点和关系进行合并，并将场景图和概念网对应的知识图谱库进行融合，最后将场景图和概念网合并成一个包含所有信息的知识图谱库；6)数据库定时更新。

技术领域

本发明属于计算机视觉领域和自然语言处理领域，具体涉及一种基于场景图和概念网相结合的知识图谱库生成方法。

背景技术

知识图谱库技术是人工智能技术的重要组成部分，是一种揭示实体之间关系的语义网络，是基于图的数据结构，可以对现实世界的事物及其相互关系进行形式化地描述。在当下，已经有了非常广泛的应用，如智能搜索，智能问答，教育等多个领域，具有十分广阔的发展前景。

在当下，构建知识图谱的主要方法是自顶向下和自下而上的构建方式。自顶向下的构建方式是先确定数据模型，再根据模型去填充具体的数据，最终形成知识图谱库；而自下而上的构建方式是按三原组的方式收集数据，再根据数据内容提炼数据模型。但是，在构建知识图谱的过程中，会遇到如何获取高质量的知识，还有存在检索信息不全面的问题。

目前，知识图谱的构建方式主要是自顶向下和自下而上的构建方式。自顶向下的构建方式是先确定数据模型，再根据模型去填充具体的数据，最终形成知识图谱库；而自下而上的构建方式是按三原组的方式收集数据，再根据数据内容提炼数据模型。但是，在构建知识图谱的过程中，会遇到如何获取高质量的知识，还有存在检索信息不全面的问题。

发明内容

本发明要克服现有技术的上述缺点，提出一种基于场景图和概念网相结合的检索知识图谱库生成方法，以提高知识图谱库的检索能力。

为了获取高质量的知识，从数据库中提取出完整的信息，最终提高知识图谱的检索能力，本发明将场景图和概念网相结合。通过获取图像上的场景图信息，再与概念网上的各种知识相结合，生成出一种检索全面的知识图谱库。场景图是一种通用数据结构，表示为图像的图。图像中的目标对应图节点，目标之间的关系对应图边。针对场景图中的实用性，需要对训练的偏差进行调整，对于主谓宾三元组，主要是对谓语进行改进，用更精确的动词进行表示，用于解决场景图中关系检测不准确的问题。同时对概念网上的知识图谱进行扩充，同时将场景图中相似度高的节点和关系进行合并，并将场景图和概念网对应的知识图谱库进行融合，运用本体论的相关知识来扩展用户问题识别的关键词，增加问题的搜索范围，提高问答系统的搜索完成率。

本发明的技术方案如下：

基于场景图和概念网相结合的检索知识图谱库生成方法，包括以下步骤：

1)模型预训练过程：

1.1)数据集处理阶段，对MS-COCO数据集进行处理，筛选出有特定种类的图片，过滤掉多余的图片；

1.2)在经典的神经网络(Faster-CNN)上对其进行预训练。首先，用卷积层提取输入图像的特征，区域提案网络生成区域提议，根据特征图和区域提议提供的坐标[x,y,w,h]，然后经过感兴趣区域对齐，生成固定尺寸的特征图，最后利用softmax进行具体类别的分类；

2)场景图的训练过程：