[发明专利]文本检索方法、装置、设备及存储介质

说明书

本发明属于数据处理领域，公开了一种文本检索方法、装置、设备及存储介质。该方法包括：根据查询文本和待处理句子通过预设BERT模型确定分类标签向量，所述待处理句子基于预设文档集确定；确定所述查询文本对应的文本语义信息和所述预设文档集对应的句子语义信息；确定所述预设文档集的上下文语义信息；根据所述分类标签向量、所述文本语义信息、所述句子语义信息和所述上下文语义信息生成文本检索结果。相对于现有的直接采用截断法处理文档，进而确定检索结果的方式，本发明上述方式能够综合考虑查询文本和待处理句子的语义关系，提高文本检索的准确性。

技术领域

本发明涉及文本检索技术领域，尤其涉及一种文本检索方法、装置、设备及存储介质。

背景技术

计算机系统中，最早且最常见的信息表现形式是文本，文本检索一直广泛应用于互联网、商业、医疗等领域的实际应用中，如搜索引擎、电商购物、电子病历检索等。而现有的基于BERT的文本检索技术通常采取截断法来缓解长文档的输入问题，但是截断法不可避免的会丢失整个文档的上下文语义信息，导致检索结果不准确。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供了一种文本检索方法、装置、设备及存储介质，旨在解决现有技术通过截断法进行文本检索导致的检索结果不准确的技术问题。

为实现上述目的，本发明提供了一种文本检索方法，所述方法包括以下步骤：

根据查询文本和待处理句子通过预设BERT模型确定分类标签向量，所述待处理句子基于预设文档集确定；

确定所述查询文本对应的文本语义信息和所述预设文档集对应的句子语义信息；

确定所述预设文档集的上下文语义信息；

根据所述分类标签向量、所述文本语义信息、所述句子语义信息和所述上下文语义信息生成文本检索结果。

可选地，所述根据查询文本和待处理句子通过预设BERT模型确定分类标签向量的步骤之前，还包括：

对预设文档集进行文本预处理，获得处理后的目标文档；

通过文档分类器对所述目标文档进行分割，获得待处理句子。

可选地，所述根据查询文本和待处理句子通过预设BERT模型确定分类标签向量的步骤，包括：

确定所述查询文本的文本长度和所述待处理句子的句子长度；

根据所述文本长度和所述句子长度判断所述待处理句子是否满足截断条件；

若满足，则对所述待处理句子进行截断处理，获得截断后的待处理句子；

根据所述查询文本和所述截断后的待处理句子生成预设BERT模型的输入嵌入；

将所述输入嵌入输入至预设BERT模型，获得分类标签向量。

可选地，所述确定所述查询文本对应的文本语义信息和所述预设文档集对应的句子语义信息的步骤，包括：

通过预设隐含狄利克雷分布模型确定所述查询文本对应的查询主题分布；

通过预设隐含狄利克雷分布模型确定所述预设文档集对应的文档主题分布；

分别对所述文档主题分布和所述查询主题分布求平均，获得文本语义信息和句子语义信息。

可选地，所述确定所述查询文本对应的文本语义信息和所述预设文档集对应的句子语义信息的步骤之前，还包括：

获取查询集样本和文档集样本；