[发明专利]一种基于Web的问答系统实现方法

说明书

本发明涉及一种基于Web的问答系统实现方法：S1.问题分析：负责分析用户提出的问题，具体是对问题进行分类、提取关键词的操作；同时还会将问题向量化，并检索与该问题相似的已有问答对；S2.信息检索：根据问题和不同的搜索引擎生成不同的查询链接，然后通过请求这些链接来获得相应的网页；S3.答案抽取：根据用户的查询意图从信息检索步骤返回的网页片段中找出最佳答案；在抽取答案时，会抽取多个可能的候选答案，然后通过为候选答案打分并排序的方式获得最佳答案。本发明从候选答案抽取、候选答案排序两个方面提高了答案抽取的准确率，并使用模型和规则优化了中文答案的抽取过程。

技术领域

本发明涉及一种基于Web的问答系统实现方法，属于自然语言处理技术领域。

背景技术

搜索引擎技术作为一种成熟的信息检索技术可以满足用户绝大部分的信息需求。但是，随着互联网数据的疯狂增长，搜索引擎的缺点逐渐显现。为了改善信息检索的用户体验，直接以自然语言作为输入与输出的问答系统成为了研究热点。在众多问答系统中，有一类问答系统直接建立在现有的搜索引擎之上，这类问答系统叫做基于Web的问答系统(Web-based QA，本文简称WQA)。

用户向WQA系统提交自然语言表述的问题之后，WQA系统会利用各种自然语言处理技术去理解用户的提问意图，然后将自然语言表述的问题分析成搜索引擎所需要的查询语句。接下来，WQA系统将查询语句输入搜索引擎，并获取其输出的相关网页片段。最后，WQA系统从网页片段中抽取出若干候选答案，并利用一些排序算法从这些候选答案中准确地挑选出最佳答案。WQA系统同时具有搜索引擎和问答系统的优点：

1)能通过现有成熟的搜索引擎来获取互联网上丰富的各种相关信息，并且可以利用信息抽取技术从这些相关信息中得到用户所需的答案；

2)能够利用自然语言进行人性化的交互。

比起英文WQA，中文WQA的研究相对较少。本发明专注于中文WQA技术。答案抽取是WQA系统中最重要也最难的部分。本发明分别优化了答案抽取的两项关键技术：候选答案抽取和候选答案排序。

发明内容

本发明技术解决问题：针对用户可能提交的问题，提出了一种新的基于Web的问答系统实现方法，能够综合利用以往的问答对中所蕴含的答案抽取规则，从与新问题相关的网页片段中抽取出最佳答案。

本发明技术解决方案：一种基于Web的问答系统实现方法，包括如下步骤：问题分析、信息检索和答案抽取。具体步骤如下：

S1.问题分析：负责分析用户提出的问题，从而领会用户的提问意图。该步骤在分析用户的问题时，会对问题进行分类、提取关键词等操作。同时还会将问题向量化，并检索与该问题相似的已有问答对。这些分析结果会对后续的信息检索模块和答案抽取模块产生帮助。

S2.信息检索：根据问题和不同的搜索引擎生成不同的查询链接，然后通过请求这些链接来获得相应的网页。这些网页会被解析工具分析成结构化的数据，从而方便后续的使用。访问网络是一种特别耗时的操作，所以信息检索模块通常也是WQA系统的性能瓶颈。本文实现信息检索模块时，利用了多线程技术同时检索多个搜索引擎，从而提升了信息检索模块的性能。

S3.答案抽取：要负责根据用户的查询意图从信息检索步骤返回的网页片段中找出最佳答案。在抽取答案时，会抽取多个可能的候选答案，然后通过为候选答案打分并排序的方式获得最佳答案。

进一步的，步骤S1中所述对问题进行分类，采用种混合式的分类方法：先用一个规则分类器对问题进行分类，当规则分类器失效时，再采用一个支持向量机分类器进行分类。

进一步的，步骤S2信息检索，具体是通过以下几个步骤实现：

S21.生成查询链接：根据问题、搜索引擎的网址、搜索引擎的链接参数规定生成每个搜索引擎对应的查询链接；