[发明专利]一种开放领域问答任务中长文本检索的方法和电子设备

说明书

本发明公开了一种开放领域问答任务中长文本检索的方法和电子设备。该方法包括：利用预先训练的编码器将开放领域文档和搜索请求分别编码为文档稠密向量和请求稠密向量；其中，编码器采用历史搜索请求、正样本和负样本作为样本数据进行训练；根据文档稠密向量与请求稠密向量计算搜索请求与开放领域文档的相似度得分，并选择相似度得分符合要求的开放领域文档为候选文档；从候选文档中选择搜索请求对应的目标文档。本发明的复用性强；同一指代的词附带了近似的语义表达；有效地改善了一词多义给搜索带来的歧义问题；模型训练效果好；对于跨领域文档有较强的泛化能力；在搜索效果、搜索性能、易用性、维护性等方面有较大提升和提升潜力。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种开放领域问答任务中长文本检索的方法和电子设备。

背景技术

开放领域问答是自然语言处理领域的一个重要任务。开放领域问答过程可以简单描述为：对于一个给定的事实型问题，首先从一个大规模多领域文档库中检索到问题答案所在文档，然后再从该文档中提取或生成答案。其中，文档检索的准确程度往往决定了整个过程的效果上限，因此，文档检索是开放领域问答任务最重要的一部分。

目前，文档检索阶段的常用方法是基于稀疏矩阵的，例如使用TD-IDF或BM25。具体来说，这样的方法通常包括以下几个步骤：步骤一，对文档进行语义信息提取，进行包括关键词抽取、命名实体识别、专有名词提取等处理，来找到文档中的关键信息；步骤二，利用文档文本和信息提取的结果构建多个索引域，这一步骤往往使用如Elasticsearch等搜索引擎工具；步骤三，对于一个新的搜索请求，进行同样的语义信息提取，然后转化为稀疏矩阵，与库中文档进行对比打分，召回评分最高的结果。

这种方法在实际应用中存在以下几个不可避免的缺点：（1）需要进行复杂的手动特征工程，而该过程繁琐、费时又易出错。此外，每次进行手动特征工程的代码只针对特定的问题，当需要解决一个新问题、新数据集时，需要重写相关代码；（2）很难解决在开放领域中词的歧义问题。例如，对于“苹果”这个词，如果忽略其上下文信息，系统很难识别它代表的是水果还是科技公司；（3）缺乏对语义的深度理解。例如，对于“工信部”和“工业和信息化部”两个词，系统不能自动发现其中关联性，需要人为进行归一化；（4）效果优化空间有限。由于人工特征工程的技术限制，当检索效果达到一定程度后，很难继续进行优化；（5）泛化性差。由于系统中的各种索引构建有很强的领域属性，当遇到文本领域以外的搜索请求时，效果往往很差。

发明内容

为了解决现有技术中存在的问题，本发明提供了如下技术方案。

本发明提供了一种开放领域问答任务中长文本检索的方法，包括：

利用预先训练的编码器将开放领域文档和搜索请求分别编码为文档稠密向量和请求稠密向量；其中，所述编码器采用历史搜索请求、正样本和负样本作为样本数据进行训练；

根据所述文档稠密向量与所述请求稠密向量计算搜索请求与开放领域文档的相似度得分，并选择相似度得分符合要求的所述开放领域文档为候选文档；

从所述候选文档中选择所述搜索请求对应的目标文档。

优选地，所述正样本采用如下方法获得：

对存在与历史搜索请求对应的答案的文档进行切分，得到多个第一文本片段；

计算所述第一文本片段与所述历史搜索请求的相关性得分；

选取答案所在的第一文本片段及其前后文各一个第一文本片段及其相关性得分组成正样本。

优选地，所述计算所述第一文本片段与所述历史搜索请求的相关性得分，包括：

答案所在的第一文本片段的相关性得分为1；

第个第一文本片段的相关性得分按照如下公式计算：

，