[发明专利]基于预训练模型的开放域问答预测方法及相关设备

说明书

本申请涉及人工智能技术领域，具体提供了一种基于预训练模型的开放域问答预测方法及相关设备，其中，该方法包括：对查询语句进行编码，得到查询向量；将查询向量与至少一个片段簇进行匹配，以确定出查询语句所属的目标片段簇；从目标片段簇中选取至少一个片段，根据至少一个片段得到更新的查询语句，并计算更新的查询语句与目标片段簇中的片段的后验概率；重复执行根据后验概率选取出至少一个片段、根据至少一个片段得到更新的查询语句的操作，直至目标片段簇中不存在与当前选取的至少一个片段直接相连的片段；计算最新的查询语句与目标片段簇中的片段的后验概率，根据该后验概率返回问答结果。本申请实施例有利于提升开放域问答中的预测效率。

技术领域

本申请涉及智能问答技术领域，尤其涉及一种基于预训练模型的开放域问答预测方法及相关设备。

背景技术

随着互联网的发展，各行各业的业务量急剧增长，并且客户规模从线下逐渐向线上偏移，而各企业人工客服的数量以及处理效率远远赶不上线上客户的增速，因此急需各类智能问答系统来缓解这一现象。现有的智能问题系统多是基于封闭域的，即将问答的知识库限定在某一个特定的邻域内，比如银行、保险、问诊等，在客户需求的驱动下，研究者们提出了开放域问答技术(open-domain QA)，它并不限定于某个邻域的问答，而是基于各行业海量的文本文档(例如维基百科等知识库)来学习知识，从而能够回答任何邻域的问题。目前的开放域问答系统中需要将查询语句与海量的片段逐一计算后验概率并提取出概率高的片段，该方法在每一步中都涉及大量的计算，使得机器在智能问答中的预测返回效率较低。

发明内容

针对上述问题，本申请提供了一种基于预训练模型的开放域问答预测方法及相关设备，有利于提升开放域问答中的预测效率。

为实现上述目的，本申请实施例第一方面提供了一种基于预训练模型的开放域问答预测方法，该方法包括：

采用预训练模型对输入的查询语句进行编码，得到查询语句的查询向量；

将查询向量与预先构建的聚类图谱中的至少一个片段簇进行匹配，以从至少一个片段簇中确定出查询语句所属的目标片段簇；

从目标片段簇中选取至少一个片段，根据至少一个片段得到更新的查询语句，并计算更新的查询语句与目标片段簇中的第一片段的后验概率；

重复执行根据上一次得到的后验概率从目标片段簇中选取至少一个片段、根据至少一个片段得到当前更新的查询语句的操作，直至目标片段簇中不存在与当前选取的至少一个片段直接相连的片段；

计算当前更新的查询语句与目标片段簇中的第二片段的目标后验概率，根据目标后验概率返回查询语句的开放域问答结果。

结合第一方面，在一种可能的实施方式中，至少一个片段簇是通过对各领域的片段数据进行聚类得到的，在采用预训练模型对输入的查询语句进行编码，得到查询语句的查询向量之前，该方法还包括：

确定聚类算法中对各领域的片段数据进行聚类所采用的半径和邻域密度阈值；

基于半径和邻域密度阈值构建聚类图谱。

结合第一方面，在一种可能的实施方式中，确定聚类算法中对各领域的片段数据进行聚类所采用的半径，包括：

采用预训练模型对各领域的片段数据进行编码，得到至少一个语义向量；

对至少一个语义向量进行对数取样，得到第一目标数量个点；

计算第一目标数量个点的点间平均距离；

重复执行K次对至少一个语义向量进行对数取样和计算点间平均距离的操作，得到K个点间平均距离，其中，K为大于1的整数；

将K个点间平均距离的平均值作为半径。