[发明专利]基于BM25算法的文档确定方法、装置、设备及存储介质在审
申请号: | 202011509486.3 | 申请日: | 2020-12-18 |
公开(公告)号: | CN112597274A | 公开(公告)日: | 2021-04-02 |
发明(设计)人: | 王国彬;牟锟伦;余泽辉 | 申请(专利权)人: | 深圳市彬讯科技有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F40/205;G06F40/289;G06Q10/06 |
代理公司: | 深圳众鼎专利商标代理事务所(普通合伙) 44325 | 代理人: | 谭果林 |
地址: | 518000 广东省深圳市南山区西丽街道*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 bm25 算法 文档 确定 方法 装置 设备 存储 介质 | ||
1.一种基于BM25算法的文档确定方法,其特征在于,所述方法包括:
获取用户输入的搜索查询文本,并对所述搜索查询文本进行分词处理,以获取目标检索词;
获取基于所述目标检索词的文档集合;
基于BM25算法,分别确定所述文档集合中每一文档的标题字段、标签字段和描述字段,与所述目标检索词对应的标题相关性得分、标签相关性得分和描述相关性得分;
根据所述标题相关性得分、所述标签相关性得分和所述描述相关性得分,确定对应所述每一文档的初始相关性得分;
获取与所述初始相关性得分对应的预设权重系数,并根据所述初始相关性得分和所述预设权重系数确定所述每一文档的最终相关性得分;
根据所述每一文档的最终相关性得分确定目标文档。
2.如权利要求1所述的文档确定方法,其特征在于,所述确定所述文档集合中每一文档的标题字段与所述目标检索词对应的标题相关性得分,通过以下公式实现:
IDF=log(1+(docCount-docFreq+0.5)/(docFreq+0.5));
Score=IDF*(freq*(k+1))/(freq+k*(1-b+b*(|d|/avgdl)));
其中,IDF代表逆文档频率,docCount代表文档集合中所有的标题字段的数量,docFreq代表所述文档集合中的标题字段包含所述目标检索词的数量,Score代表所述标题相关性得分,freq代表所述目标检索词在所述每一文档中的标题字段出现的次数,k和b为常量系数,|d|代表所述每一文档中的标题字段的长度,avgdl代表所述文档集合中文档的平均长度。
3.如权利要求1所述的文档确定方法,其特征在于,所述预设权重系数为通过如下方式确定:
若所述文档集合中某一文档的内容曝光数大于第一阈值,且内容曝光点击比大于第一数值,则将对应的文档确定为第一等级文档类型,并为所述第一等级文档类型配置第一权重,将所述第一权重作为所述第一等级文档类型的预设权重系数;
或者,若所述文档集合中某一文档的内容曝光数大于第二阈值,且所述内容曝光数小于所述第一阈值,且所述内容曝光点击比大于第二数值,则将对应的文档确定为第一等级文档类型,并为所述第一等级文档类型配置第一权重,将所述第一权重作为所述第一等级文档类型的预设权重系数;
或者,若所述文档集合中某一文档的内容曝光数大于第三阈值,且所述内容曝光数小于所述第二阈值,且所述内容曝光点击比大于第三数值;则将对应的文档确定为第一等级文档类型,并为所述第一等级文档类型配置第一权重,将所述第一权重作为所述第一等级文档类型的预设权重系数;
若所述文档集合中某一文档的内容曝光数大于所述第一阈值,且所述内容曝光点击比大于第四数值,且所述内容曝光点击比小于所述第三数值,则将对应的文档确定为第二等级文档类型,并为所述第二等级文档类型配置第二权重,将所述第二权重作为所述第二等级文档类型的预设权重系数;
或者,若所述文档集合中某一文档的内容曝光数大于所述第二阈值,且所述内容曝光数小于所述第一阈值,且所述内容曝光点击比大于所述第四数值,且所述内容曝光点击比小于所述第二数值,则将对应的文档确定为第二等级文档类型,并为所述第二等级文档类型配置第二权重,将所述第二权重作为所述第二等级文档类型的预设权重系数;
若所述文档集合中某一文档的内容曝光数大于所述第三阈值,且所述内容曝光数小于第四阈值,且所述内容曝光点击比大于0,则将对应的文档确定为第三等级文档类型,对应配置第三权重,并为所述第三等级文档类型配置第三权重,将所述第三权重作为所述第三等级文档类型的预设权重系数;
其中,所述第一权重大于所述第二权重,所述第二权重大于所述第三权重。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市彬讯科技有限公司,未经深圳市彬讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011509486.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:随动式背景音乐分区控制系统
- 下一篇:一种埋入式柱脚节点