[发明专利]用于文本检索的方法、装置、设备以及存储介质在审
申请号: | 202110255980.X | 申请日: | 2021-03-09 |
公开(公告)号: | CN112988969A | 公开(公告)日: | 2021-06-18 |
发明(设计)人: | 徐思琪;钟辉强;黄强;周厚谦;刘晨晖;刘崇;潘旭;杨哲;洪赛丁;章文俊 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F40/194;G06F40/205;G06F40/289;G06F40/30;G06K9/62 |
代理公司: | 北京市铸成律师事务所 11313 | 代理人: | 王一;包莉莉 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 文本 检索 方法 装置 设备 以及 存储 介质 | ||
1.一种用于文本检索的方法,包括:
利用全文搜索引擎获取满足检索式的多个候选文本;
根据所述检索式的关键词和所述候选文本的文本内容,计算所述候选文本的多维特征;
基于多维特征融合的文本相似度运算得到相关性分数,并根据所述相关性分数对多个所述候选文本进行排序,其中,所述相关性分数用于表征所述候选文本与所述检索式的文本相似度;
根据预设规则对多个所述候选文本进行二次排序和过滤,得到目标文本。
2.根据权利要求1所述的方法,在利用全文搜索引擎召回满足所述检索式的多个候选文本之前,还包括:
对所述检索式进行解析,得到解析树;
根据所述解析树提取所述检索式的关键词。
3.根据权利要求1所述的方法,计算所述候选文本的多维特征,包括以下中的至少一项:
计算所述候选文本的标题与所述检索式的jaccard特征;
计算所述候选文本的摘要与所述检索式的jaccard特征;
计算所述候选文本的标题与所述检索式的语义相似度特征;
计算所述候选文本的摘要与所述检索式的语义相似度特征;
计算所述候选文本的标题与所述检索式的编辑距离、最长公共子序列以及最长公共子串特征。
4.根据权利要求1所述的方法,基于多维特征融合的文本相似度运算得到相关性分数,包括:
将所述候选文本的多维特征输入至训练好的排序模型,得到所述候选文本的相关性分数;
基于多个所述候选文本的相关性分数,按照降序对多个所述候选文本进行排序。
5.根据权利要求1所述的方法,根据预设规则对多个所述候选文本进行二次排序和过滤,包括:
根据所述候选文本的标题和摘要中的至少一个与所述检索式的关键词的匹配情况,依次将所述候选文本添加至优先队列或候选队列,其中,所述优先队列位于所述候选队列的前列。
6.根据权利要求5所述的方法,根据预设规则对多个所述候选文本进行二次排序和过滤,还包括:
根据预设的屏蔽词库或屏蔽站点库,对所述优先队列和所述候选队列中至少一个的多个候选文本进行过滤处理。
7.根据权利要求5所述的方法,所述多维特征至少包括所述候选文本的语义相似度特征,所述语义相似度特征用于表征所述候选文本与所述检索式的语义相似度,根据预设规则对多个所述候选文本进行二次排序和过滤,还包括:
在所述候选文本的语义相似度小于第一相似度阈值的情况下,将所述候选文本添加至过滤队列;
在所述候选文本的语义相似度大于或等于第一相似度阈值且小于第二相似度阈值、且所述候选文本的相关性分数小于相关性阈值的情况下,将所述候选文本添加至过滤队列;
在所述候选文本的语义相似度大于或等于第二相似度阈值且小于第三相似度阈值、且所述候选文本的标题和摘要中的至少一个与所述检索式的任一个关键词均不匹配的情况下,将所述候选文本添加至过滤队列。
8.根据权利要求1-7任一项所述的方法,还包括:
提取所述候选文本的标题中的实词;
基于提取到的所述实词,计算任意两个所述候选文本的标题的重合度,在所述重合度大于重合度阈值的情况下,对两个所述候选文本进行去重处理。
9.一种用于文本检索的装置,包括:
文本获取模块,用于利用全文搜索引擎获取满足检索式的多个候选文本;
多维特征计算模块,用于根据所述检索式的关键词和所述候选文本的文本内容,计算所述候选文本的多维特征;
排序模块,用于基于多维特征融合的文本相似度运算得到相关性分数,根据所述相关性分数对多个所述候选文本进行排序,其中,所述相关性分数用于表征所述候选文本与所述检索式的文本相似度;
二次排序和过滤模块,用于根据预设规则对多个所述候选文本进行二次排序和过滤,得到目标文本。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110255980.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种水泥土搅拌桩施工用高压注浆装置
- 下一篇:一种墙壁打孔装置