[发明专利]文本检索方法、装置、设备及存储介质在审
申请号: | 202210358947.4 | 申请日: | 2022-04-02 |
公开(公告)号: | CN114780678A | 公开(公告)日: | 2022-07-22 |
发明(设计)人: | 覃俊;刘璐;刘晶;孙翀;帖军;尹帆;叶正;张泽谨 | 申请(专利权)人: | 中南民族大学 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F40/30;G06F16/35;G06F40/211;G06K9/62 |
代理公司: | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人: | 吴士卿 |
地址: | 430000 湖北省武*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 检索 方法 装置 设备 存储 介质 | ||
1.一种文本检索方法,其特征在于,所述文本检索方法包括以下步骤:
根据查询文本和待处理句子通过预设BERT模型确定分类标签向量,所述待处理句子基于预设文档集确定;
确定所述查询文本对应的文本语义信息和所述预设文档集对应的句子语义信息;
确定所述预设文档集的上下文语义信息;
根据所述分类标签向量、所述文本语义信息、所述句子语义信息和所述上下文语义信息生成文本检索结果。
2.如权利要求1所述的文本检索方法,其特征在于,所述根据查询文本和待处理句子通过预设BERT模型确定分类标签向量的步骤之前,还包括:
对预设文档集进行文本预处理,获得处理后的目标文档;
通过文档分类器对所述目标文档进行分割,获得待处理句子。
3.如权利要求1所述的文本检索方法,其特征在于,所述根据查询文本和待处理句子通过预设BERT模型确定分类标签向量的步骤,包括:
确定所述查询文本的文本长度和所述待处理句子的句子长度;
根据所述文本长度和所述句子长度判断所述待处理句子是否满足截断条件;
若满足,则对所述待处理句子进行截断处理,获得截断后的待处理句子;
根据所述查询文本和所述截断后的待处理句子生成预设BERT模型的输入嵌入;
将所述输入嵌入输入至预设BERT模型,获得分类标签向量。
4.如权利要求1所述的文本检索方法,其特征在于,所述确定所述查询文本对应的文本语义信息和所述预设文档集对应的句子语义信息的步骤,包括:
通过预设隐含狄利克雷分布模型确定所述查询文本对应的查询主题分布;
通过预设隐含狄利克雷分布模型确定所述预设文档集对应的文档主题分布;
分别对所述文档主题分布和所述查询主题分布求平均,获得文本语义信息和句子语义信息。
5.如权利要求4所述的文本检索方法,其特征在于,所述确定所述查询文本对应的文本语义信息和所述预设文档集对应的句子语义信息的步骤之前,还包括:
获取查询集样本和文档集样本;
将所述查询集样本和所述文档集样本作为训练语料,并从所述训练语料中提取目标主题信息;
根据所述训练语料和所述目标主题信息对初始隐含狄利克雷分布模型进行训练,得到预设隐含狄利克雷分布模型。
6.如权利要求1-5任一项所述的文本检索方法,其特征在于,所述确定所述预设文档集的上下文语义信息的步骤,包括:
获取所述预设文档集对应的待处理句子;
将所述待处理句子传递至预设主题模型,获得所述待处理句子中各句子对应的句子主题分布;
将所述句子主题分布作为上下文语义信息。
7.如权利要求1-5任一项所述的文本检索方法,其特征在于,所述根据所述分类标签向量、所述文本语义信息、所述句子语义信息和所述上下文语义信息生成文本检索结果的步骤,包括:
将所述分类标签向量、所述文本语义信息、所述句子语义信息和所述上下文语义信息进行拼接,获得拼接信息;
将所述拼接信息输入分类器,获得文档相关性分值;
根据所述文档相关性分值生成文本检索结果。
8.一种文本检索装置,其特征在于,所述文本检索装置包括:
分类标签向量确定模块,用于根据查询文本和待处理句子通过预设BERT模型确定分类标签向量,所述待处理句子基于预设文档集确定;
语义信息确定模块,用于确定所述查询文本对应的文本语义信息和所述预设文档集对应的句子语义信息;
上下文语义信息确定模块,用于确定所述预设文档集的上下文语义信息;
检索结果确定模块,用于根据所述分类标签向量、所述文本语义信息、所述句子语义信息和所述上下文语义信息生成文本检索结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中南民族大学,未经中南民族大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210358947.4/1.html,转载请声明来源钻瓜专利网。