[发明专利]基于Pipeline处理和ES储存问答系统构建方法

说明书

本发明涉及自然语言处理，具体涉及基于Pipeline处理和ES储存问答系统构建方法，对行业领域数据问答对进行收集清洗，并针对问答对中的问题构建多维度语义特征标签；将问答对中的问题及与其对应匹配的多维度语义特征标签、答案批量存入ES数据库；判断输入问题语句中是否包含敏感词，若包含敏感词则直接给出答案，否则对输入问题语句进行改写；对改写后的问题语句进行多维度语义特征标签抽取，并转化为查询语句，召回候选问答对；对改写后的问题语句与候选问答对中的问题进行相似度打分重排，推荐最优答案；本发明提供的技术方案能够克服现有技术所存在的缺乏对问答对库的全面维护、对输入问题与库内候选问题的相似判定不够准确的缺陷。

技术领域

本发明涉及自然语言处理，具体涉及基于Pipeline处理和ES储存问答系统构建方法。

背景技术

问答系统是自然语言处理领域中一项比较复杂和困难的任务，该任务就是给定一个问题，系统能够给出合理准确的答案。按照目前国内外研究进展，依据答案来源划分，可以把问答系统划分为基于结构化的问答系统、基于文本的问答系统、基于FAQ问答对的问答系统。

基于结构化的问答系统，就是将问题带入提前准备好的结构化知识库寻求答案，它能够解析输入的自然语言问句，并将解析结果转化为对应的SPARQL查询语句来获取答案。这样的问答系统，回答问题准确，逻辑性强，但是构造系统的难度特别大，需要构建一个高质量的知识图谱。而经常能获取到的数据都是非结构化的，要想从非结构化数据中提取出结构化数据，这显然是一个巨大的工程，需要高额的成本。

基于文本的问答系统中给定问题，能够从答案集中检索出对应答案，需要对问题的语义理解非常准确，同时抽取的答案也要准确合理，然而目前是不太容易做到的。

基于FAQ问答对的问答系统预先将问题和答案进行匹配，构建了一个常见问答对库，进行问题检索时只需要判定问题和库内候选问题是否相似就可以。

常见的FAQ问答系统在构建问答对库时，仅仅只是维护了问答对，没有维护其他的特征，推荐的准确性就很依赖问题和库内候选问题相似判定的准确度。目前，问题和库内候选问题的相似判定大多采用Bert模型进行语义表征来计算余弦相似度，需要大量标注相似语句，并且针对一些实例采用Bert模型进行语义表征来计算余弦相似度并不能准确判定语句是否相似，对于这些难题并不能很好地解决，这样构建的问答系统就不是那么高效和可控了，后续的优化也无法很好地持续进行下去。

发明内容

(一)解决的技术问题

针对现有技术所存在的上述缺点，本发明提供了基于Pipeline处理和ES储存问答系统构建方法，能够有效克服现有技术所存在的缺乏对问答对库的全面维护、对输入问题与库内候选问题的相似判定不够准确的缺陷。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

基于Pipeline处理和ES储存问答系统构建方法，包括以下步骤：

S1、对行业领域数据问答对进行收集清洗，并针对问答对中的问题构建多维度语义特征标签；

S2、将问答对中的问题及与其对应匹配的多维度语义特征标签、答案批量存入ES数据库；

S3、判断输入问题语句中是否包含敏感词，若包含敏感词则直接给出答案，否则对输入问题语句进行改写；

S4、对改写后的问题语句进行多维度语义特征标签抽取，并将改写后的问题语句与得到的多维度语义特征标签转化为查询语句，在ES数据库中经过查询和搜索，召回候选问答对；

S5、对改写后的问题语句与候选问答对中的问题进行相似度打分重排，推荐最优答案。

优选地，S1中对行业领域数据问答对进行收集清洗，包括：