[发明专利]一种面向复杂性问题的开放域问答系统

说明书

本发明提供一种面向复杂性问题的开放域问答系统。所述面向复杂性问题的开放域问答系统包括输入问题单元、子问题生成器、遍历器选择函数、检索状态参量、稀疏向量检索器、稠密向量检索器、链式检索器、子问题阅读器、比较器、证据集和生成回答单元；具体方法为：将问题传递给子问题生成器，获取当前的子问题，然后通过对当前状态的估计和策略评估打分机制选择合适的检索策略，并检索生成证据集合，迭代上面的过程以获得答案集，最后通过比较器得出最终答案。本发明提供的面向复杂性问题的开放域问答系统具有实现了一个面向复杂推理性问题的智能问答系统、避免了由解释与推理分离导致的内部机制不明确和解释不忠实的困境的优点。

技术领域

本发明涉及智能问答技术领域，尤其涉及一种面向复杂性问题的开放域问答系统。

背景技术

传统的搜索引擎通过关键词匹配和词级别的文档排序技术，根据用户输入的查询问题，返回一系列可能相关的文档或者网页链接。技术实现角度上，这种检索方式没有考虑任何的文本语义信息，一方面可能会导致检索出来的文章与用户输入的查询问题没有任何相关性，另一方面可能会带来过多的无用信息；用户体验角度上，这种结果的呈现方式需要用户额外花费大量的时间去阅读和理解相关文章，然后自行从其中找出所查询问题的答案。在生活节奏愈发变快的今天，越来越多的用户已从追求检索结果的数量转变为追求检索结果的质量，同时特别看重知识获取的效率，即希望搜索引擎尽可能地直接给出所问问题的答案，减少中间阅读所需要花费的时间，由此引出了开放域问答这个非常具有现实意义和应用价值的任务。

开放域问答(QA)依赖于强大的信息搜索方法，能有效地从给定的大型语料库中检索证据，并模拟人类的阅读理解方式来生成答案。随着人工智能技术的蓬勃发展，尤其是深度学习在自然语言处理领域取得了巨大的突破，智能化的开放域问答系统的设计与实现成为了可能，并成为近些年学术界和工业界非常热门的研究方向。起初，研究者们将目光聚焦于事实性问题的解答，设计的问答系统大多遵从两阶段检索器-阅读器模型，其中检索器使用确定的稀疏，稠密或超链接检索函数来检索证据，独立于阅读阶段。随着不断的研究与改进，现有的面向事实性问题的开放域问答正在逐渐逼近人类阅读理解的精度。慢慢地，人们不再满足于事实性问题的研究，进而希望问答系统能够更加智能化地回答复杂的推理性问题。

现有的面向推理性问题的问答系统，往往需要构建逻辑链迭代获取证据，从而推理获得答案。但目前的研究尚不够成熟，受限于各个模型不同的优化策略，它们往往只适用于某几种推理类型，同时也不可避免地存在着端到端模型内部推理过程不清晰，错误样例不具有可解释性等问题。不同于主流的构建推理逻辑链的思路。

传统的开放域QA方法主要遵循两阶段检索器-阅读器模型：检索器收集相关段落作为证据候选，阅读器阅读检索出的候选段落生成答案[4]。在检索阶段，大多数模型采用确定的检索函数并独立处理每个段落[5][6]。在这个基础上，一些模型采用超链接或实体链接的策略进一步考虑段落之间的关系，并将链接的邻接段落一并作为证据 [7][8]。然而，这些独立于阅读器的检索方法，检索证据的关联性不够高，难以对问题和证据之间具有高阶关系的复杂问题进行建模。

直到Ding等人巧妙地将图神经网络应用于多跳问答任务，并取得了优异的性能提升，其他模型如DFGN相继提出将图结构集成到多跳QA任务中[1][3]。然而，最近这些多跳QA任务中的端到端方法似乎已陷入瓶颈，与人类水平仍有巨大差距。此外，这些端到端多跳QA模型的内部推理过程不清晰，生成的答案有时可解释性不足。

复杂问题分解也是NLP领域的一项重要任务，与多跳QA任务密切相关。例如，DecompRC模型将复杂问题分解视为跨度提取任务，并使用监督策略将复杂问题分解为多个跨度来解决多跳QA 任务[2]。然而，提取句子片段机制的存在限制了其生成问题的多样性，故这种分解方法仅适用于具有特定的组合类型的复杂问题，对于比较类等复杂问题就不能很好的解决。