[发明专利]基于MRC的文档数据检索方法、装置、设备及存储介质

说明书

本说明书实施例提供了一种基于MRC的文档数据检索方法、装置、设备及存储介质，该方法包括：从接收到的询问信息中获取关键词；确定预设的标题词库中与所述关键词匹配的标题，以作为目标标题；所述标题词库中包含多个标题与相应标题词集合的对应关系；从预设的标题文档库中查询与所述目标标题对应的全量相关文档内容，以作为召回文档；所述标题文档库中包含多个标题与其全量相关文档内容的对应关系；将所述询问信息及所述召回文档输入预设的MRC模型，以提取答案信息。本说明书实施例可以提高信息召回的准确性和适用范围，并可以降低实现成本。

技术领域

本说明书涉及机器阅读理解(Machine Reading Comprehension，简称MRC)技术领域，尤其是涉及一种基于MRC的文档数据检索方法、装置、设备及存储介质。

背景技术

MRC是一种利用算法使计算机理解文章语义并回答相关问题的技术。具体的，在输入用户问题和相关文本文档后，基于MRC的模型可以根据计算结果自动地从段落中提取一段连续的文本区间作为用户问题的答案输出。由于输入的用户问题一般采用人类语言的形式，因此，MRC也属于自然语言处理(Natural Language Processing，简称NLP)的范畴。近些年来，随着人工智能技术的不断发展，基于MRC的各智能问答类系统层出不穷。在垂直应用领域，例如电商、医疗、政务等，都已开始引入智能问答系统以缓解人工客服压力，提升用户体验。

其中，一些应用领域(例如政务等)对于基于MRC的智能问答类系统的召回准确性要求较高。然而，当前基于MRC的智能问答类系统的召回准确性一般难以满足要求。为此，在这些召回准确性要求的应用领域，针对用户问题询问主要实现方式为：从相关文本文档中，人工梳理出常见的用户问题-答案(QA)语料库，借助当前先进的NLP文本分类或语义匹配算法实现问题-答案检索。由于需要人工梳理QA语料库的实现成本较高，这种方式一般只针对热门或常见的用户问题进行梳理，这就导致QA语料库涵盖的信息范围较小，系统能解答问题数量十分有限，语料库之外的大量问题目前只能依赖人工客服。

发明内容

本说明书实施例的目的在于提供一种基于MRC的文档数据检索方法、装置、设备及存储介质，以提高信息召回的准确性和适用范围，并降低实现成本。

为达到上述目的，一方面，本说明书实施例提供了一种基于MRC的文档数据检索方法，包括：

从接收到的询问信息中获取关键词；

确定预设的标题词库中与所述关键词匹配的标题，以作为目标标题；所述标题词库中包含多个标题与相应标题词集合的对应关系；

从预设的标题文档库中查询与所述目标标题对应的全量相关文档内容，以作为召回文档；所述标题文档库中包含多个标题与其全量相关文档内容的对应关系；

将所述询问信息及所述召回文档输入预设的MRC模型，以提取答案信息。

在本说明书一实施例中，所述方法还包括：

获取所述答案信息的置信度；

确认所述置信度是否低于预设的置信度阈值；

当所述置信度低于所述置信度阈值时，将所述答案信息作为无答案处理。

在本说明书一实施例中，所述方法还包括：

当所述答案信息的边界内容为数值类字符时，根据边界位置向前或向后扩充所述答案信息，以保障答案信息的完整性。

在本说明书一实施例中，所述方法还包括：

当所述答案信息的边界内容为标点类字符时，根据边界位置向前或向后缩小所述答案信息，以删除答案信息中的冗余信息。

在本说明书一实施例中，所述MRC模型包括ELECTRA模型。