[发明专利]一种基于NLP复合句分割的图像检索的方法

说明书

一种基于NLP复合句分割的图像检索的方法，包括：1)分割复合句；2)对多个简单句子排序；3)对检索图像的句子进行抽象；4)查询剪枝；5)检索图像；6)评估结果：使用准确率(Accuracy)、精准率(Precision)、召回率(Recall)和F1_score来评估方法的性能。本发明将NLP与图像检索结合起来，充分利用NLP的优势，对用户所提出的复合句进行详细的成分句法分析与依存句法分析，将分析处理过的句子作为查询语句，输入到数据库中对图像进行检索，不仅大大提高了图像检索的效果，也扩大了NLP的应用范围。

技术领域

本发明属于自然语言处理和计算机视觉领域，是在其领域内关注度较高的应用技术，具体涉及一种基于NLP复合句分割的图像检索的方法与应用。

背景技术

自然语言处理专注于人机语言交互，研究如何处理和运用自然语言，最早被应用于图灵测试，经历了以规则为基础的研究法方法，到现在的基于统计学的模型和方法，从早期的传统机器学习方法，基于高维稀疏特征的训练方式，到现在主流的深度学习方法，使用基于神经网络的低维稠密向量特征训练模型。最近几年，随着机器学习以及相关技术的发展，NLP领域的研究取得一个又一个突破，研究者们也在设计各种模型和方法，来解决NLP的各类问题。

图像检索技术的研究根据描述图像内容方式的不同可以分为两类，一类是基于文本的图像检索，另一类是基于内容的图像检索，本发明着重于前者。基于文本的图像检索技术始于上世纪70年代，它利用文本标注的方式对图像中的内容进行描述，从而为每幅图像形成描述这幅图像内容的关键词，用户可以根据自己的兴趣提供查询关键词，检索系统根据用户提供的查询关键词找出那些标注有该查询关键词对应的图片，最后将查询的结果返回给用户。

在传统NLP与图像检索的结合中，首先是根据图片内容提出简单问句，然后分析所提简单句的语义，结合图片内容得出问题答案。

发明内容

本发明要克服现有技术的缺点，提供一种基于NLP复合句分割的图像检索的方法。

本发明的目的在于充分融合自然语言处理与计算机视觉两个模态下的信息，从而为基于文本的图像检索提供优秀的解决方案。本发明专利在两大技术结合中，更注重对于复合句的处理，所提问题的方式也不是看图提问的方式，而是根据所提问题在数据库中一步一步寻找问题答案，实现了一种基于NLP复合句分割的图像检索的完整架构。

本发明的目的是这样实现的：

一种基于NLP复合句分割的图像检索的方法，包括以下步骤：

1)复合句分割：根据用户所提出的复合句，使用Part-of-Speech为输入句子中的每个词性标注词分配词性标记，通过这种方法消除单词词性的歧义，为单词找到正确的标签。得出单词的词性标记后，使用Enhanced++Dependencies得出单词与单词之间的依存关系，结合语法最终分割为多个简单句。

2)多个简单句子排序：对1)中得到的多个简单句进行排序。根据计算机语言学，简单句由主语、谓语和宾语组成，由于本发明中涉及的问题是复合问题，存在主语和谓语的连续性，可根据其特性将简单句子进行排序。

3)对检索图像的句子进行抽象：在知识图谱中，图像中的每一个实体对应一个结点，所以只需要对上述句子中涉及的结点进行遍历和迭代就可以确定查询的第一个结点。首先是对第一个简单句进行查询，得出查询结果(复合问题的中间结果)，这时候得出的结果可能会有许多，为了最终查询的准确性，需要把得出来的每一个结果作为下一个简单句的第一个实体节点进行查询，如此反复，直到得出复合问题的最终答案。