[发明专利]基于BM25算法的文档确定方法、装置、设备及存储介质

说明书

本发明涉及大数据搜索技术领域，提供了一种基于BM25算法的文档确定方法、文档确定装置、设置及存储介质，其中，方法包括：获取用户输入的搜索查询文本，并对搜索查询文本进行分词处理，以获取目标检索词；获取基于目标检索词的文档集合；基于BM25算法，分别确定文档集合中每一文档的标题字段、标签字段和描述字段，与目标检索词对应的标题相关性得分、标签相关性得分和描述相关性得分；根据标题相关性得分、标签相关性得分和描述相关性得分，确定初始相关性得分；获取与初始相关性得分对应的预设权重系数，并根据初始相关性得分和预设权重系数确定每一文档的最终相关性得分；根据每一文档的最终相关性得分确定目标文档，以提高确定文档的准确性。

技术领域

本发明涉及大数据搜索技术领域，特别涉及一种基于BM25算法的文档确定方法、文档确定装置、计算机设备及可读存储介质。

背景技术

BM25算法是一种用来评价检索词和文档之间相关性的算法，其基于概率检索模型提出，当前在互联网家装应用领域中，用户对涉及家装的文档内容搜索时不仅关心内容的相关性，还有对内容的质量也尤其关注。

在一个应用场景中，例如当前用户输入关键字“客厅”进行搜索，此时有对应可以获取两篇文档内容，其中第一篇文档内容的标题是“客厅客厅客厅”，第二篇文档内容的标题是“客厅怎么装修”。按照BM25算法，第一篇文档内容出现的词频以及占比都高于第二篇文档内容，所以第一篇文档内容的相关性得分也会高于第二篇文档内容，实际应用中则会优先推荐第一篇文档内容，然而第一个内容真的就一定是用户期望看到的吗？因为第一篇文档内容的内容质量不仅很差，而且已经是几年前发布的内容了，而第二个内容更优质，此时明显第二个内容更满足用户的需求。因为用户搜索的目的是获取和客厅相关的内容，至于相关程度深浅，可能并不是用户很关心的。

可见，若仅通过BM25算法确定文档内容，并不能满足用户的实际需求。

发明内容

本发明的目的在于，针对现有技术通常仅通过相关度对搜索内容进行排序，不能满足用户的实际需求，提供一种基于BM25算法的文档确定方法、文档确定装置、计算机设备以及可读存储介质，以提高确定文档的准确性。

本发明是这样实现的，本发明第一方面提供一种基于BM25算法的文档确定方法，其中，所述文档确定方法包括：

获取用户输入的搜索查询文本，并对所述搜索查询文本进行分词处理，以获取目标检索词；

获取基于所述目标检索词的文档集合；

基于BM25算法，分别确定所述文档集合中每一文档的标题字段、标签字段和描述字段，与所述目标检索词对应的标题相关性得分、标签相关性得分和描述相关性得分；

根据所述标题相关性得分、所述标签相关性得分和所述描述相关性得分，确定对应所述每一文档的初始相关性得分；

获取与所述初始相关性得分对应的预设权重系数，并根据所述初始相关性得分和所述预设权重系数确定所述每一文档的最终相关性得分；

根据所述每一文档的最终相关性得分确定目标文档。

可选地，所述确定所述文档集合中每一文档的标题字段与所述目标检索词对应的标题相关性得分，通过以下公式实现：

IDF＝log(1+(docCount-docFreq+0.5)/(docFreq+0.5))；

Score＝IDF*(freq*(k+1))/(freq+k*(1-b+b*(|d|/avgdl)))；