[发明专利]一种抗干扰的融合检索和机器阅读理解的问答方法及系统

说明书

本发明实施例提供了一种融合检索和机器阅读理解的文本查询方法、装置、可读存储介质及计算设备，实现了高精度的搜索，以及，从搜索结果中直接抽取答案返回给用户。方法包括：接收用户的查询请求；所述查询请求包括查询文本；根据所述查询文本进行搜索，获取预设第一个数的候选文档；将所述预设第一个数的候选文档和所述查询文本输入预设的二分类模型，从所述预设第一个数的候选文档中选取预设第二个数的候选文档；将所述预设第二个数的候选文档和所述查询文本输入预设的段落抽取阅读理解模型，从所述预设第二个数的候选文档中选取预设第三个数的段落或句子；将所述预设第三个数的所述段落或句子返回给所述用户。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种融合检索和机器阅读理解的文本查询方法、装置、可读存储介质及计算设备。

背景技术

ElasticSearch的BM25算法，是TF-IDF算法的一个升级改良版本，但本质还是基于词的词频、逆文档频率等与词出现次数相关的特征来做匹配搜索，是一种基于关键字匹配的搜索算法。然而在实际应用中，用户输入的关键字可能会与搜索内容语义相关，未必与搜索内容里的关键字完全匹配。如“请假流程”与“请假步骤”只是语义相关。知识库某一知识是“请假步骤”，但用户输入的是“请假流程”，这类要求语义匹配的情况BM25算法是无法解决的。

PageRank搜索排名算法本质上是一种以网页之间的超链接个数和质量作为主要因素来分析网页的重要性的算法。意在显示搜索结果的时候，过滤掉一些超链接个数少的非重要结果。与企业知识库实际不符。因为一般能录进企业知识库的都是一些企业认为重要的资料数据。所以PageRank算法并不适用于大部分的知识库场景。

基于以上算法实现的搜索引擎，返回内容是文档级别。部分优秀的互联网搜索引擎，如百度和Google，则利用知识图谱方法，直接返回查询问题的结果。然而，知识图谱的构建是一项花费巨大人力物力的工程，并不是普通企业所能承担的。

综上，目前并没有一套比较经济的支持语义匹配的搜索算法。主流的算法流程不是全文搜索，而且知识图谱、研究文档搜索、机器阅读理解落地的不多(阅读理解模型鲁棒性不高)，没有一套综合成熟的文档搜索算法流程。

发明内容

为此，本发明提供了一种融合检索和机器阅读理解的文本查询方法、装置、可读存储介质及计算设备，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明实施例的一个方面，提供了一种融合检索和机器阅读理解的文本查询方法，包括：

接收用户的查询请求；所述查询请求包括查询文本；

根据所述查询文本进行搜索，获取预设第一个数的候选文档；

将所述预设第一个数的候选文档和所述查询文本输入预设的二分类模型，根据所述二分类模型输出的置信度，从所述预设第一个数的候选文档中选取预设第二个数的候选文档；

将所述预设第二个数的候选文档和所述查询文本输入预设的段落抽取阅读理解模型，根据所述段落抽取阅读理解模型输出的所述候选文档中与所述查询文本对应的段落或句子，以及所述段落或句子的上标、下标的置信度，从所述预设第二个数的候选文档中选取预设第三个数的所述段落或句子；

将所述预设第三个数的所述段落或句子返回给所述用户。

可选地，所述预设第一个数的候选文档，包括：全体搜索结果中，搜索结果置信度最高的预设第一个数的候选文档；

所述预设第二个数的候选文档，包括：所述预设第一个数的候选文档中，所述二分类模型输出的置信度最高的预设第二个数的候选文档；

所述预设第三个数的段落或句子，包括：所述预设第二个数的候选文档的所述段落或句子中，上标、下标的置信度的乘积最高的预设第三个数的所述段落或句子。