[发明专利]文档检索方法、设备及计算机可读存储介质有效
申请号: | 202011215045.2 | 申请日: | 2020-11-03 |
公开(公告)号: | CN112347223B | 公开(公告)日: | 2023-09-22 |
发明(设计)人: | 王伟;李响;邓俊毅;谢超 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F16/31 | 分类号: | G06F16/31;G06F16/33;G06F16/36;G06F40/216;G06F40/295;G06F40/30;G06N3/0442;G06N3/049;G06N3/08 |
代理公司: | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人: | 魏润洁 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文档 检索 方法 设备 计算机 可读 存储 介质 | ||
1.一种文档检索方法,其特征在于,所述文档检索方法包括以下步骤:
获取被检索文档经整合后所得的被检索文档矩阵,并基于所述被检索文档矩阵提取所述被检索文档的多层级跨句语义信息,以得到包含所述多层级跨句语义信息的第一输入向量;
获取包含有预设检索文档库中若干检索文档的多层级跨句语义信息的第二输入向量集,并将所述第一输入向量与所述第二输入向量集作为采用不同比例掩盖处理方式训练后的预训练语言模型的输入,得到所述第一输入向量与所述第二输入向量集之间的特征相似度,以基于所述特征相似度确定出与所述被检索文档相匹配的目标检索文档,所述第一输入向量和所述第二输入向量包括:词向量、位置向量和邻接语义向量;
所述将所述第一输入向量与所述第二输入向量集作为采用不同比例掩盖处理方式训练后的预训练语言模型的输入,得到所述第一输入向量与所述第二输入向量集之间的特征相似度,以基于所述特征相似度确定出与所述被检索文档相匹配的目标检索文档的步骤,包括:
将所述第一输入向量与所述第二输入向量集作为采用不同比例掩盖处理方式训练后的预训练语言模型的输入,获得所述被检索文档和各检索文档对应的文本特征,以通过哈密尔顿距离方式获取所述第一输入向量与所述第二输入向量集之间的特征相似度,以基于所述特征相似度确定出与所述被检索文档相匹配的目标检索文档;
所述获取被检索文档经整合后所得的被检索文档矩阵之前,还包括:
获取由多个预训练词序列组成的预训练语料,并生成所述预训练语料的语料词频-逆文档频率属性队列与语料词性属性队列;
根据各个所述预训练词序列分别在所述语料词频-逆文档频率属性队列与语料词性属性队列中位置编号的乘积,对各个所述预训练词序列进行排序,得到预训练掩盖队列;
根据先后顺序确定预设比例标准,并按照预设比例标准,对所述预训练掩盖队列中的各个已排序的预训练词序列进行保留和/或替换的掩盖处理,所述掩盖处理包括:按照第一比例对各个已排序的预训练词序列进行保留,按照第二比例对各个已排序的预训练词序列进行随机替换,按照第三比例对各个已排序的预训练词序列进行特定符号替换。
2.如权利要求1所述的文档检索方法,其特征在于,所述基于所述被检索文档矩阵提取所述被检索文档的多层级跨句语义信息,以得到包含所述多层级跨句语义信息的第一输入向量,包括:
获取所述被检索文档矩阵的词向量与位置向量;
基于词频-逆文档频率算法与命名实体识别技术,得到用于获取所述被检索文档矩阵的邻接语义向量的目标备选词集合;
基于长短时记忆网络模型,对所述目标备选词集合中的每一备选词进行编码,以得到所述被检索文档矩阵的邻接语义向量;
将所述词向量、所述位置向量与所述邻接语义向量作为所述第一输入向量,其中,所述第一输入向量存储于区块链中。
3.如权利要求2所述的文档检索方法,其特征在于,所述基于词频-逆文档频率算法与命名实体识别技术,得到用于获取所述被检索文档矩阵的邻接语义向量的目标备选词集合,包括:
使用词频-逆文档频率算法对所述被检索文档矩阵中的词序列进行加权处理,生成所述被检索文档矩阵对应的词频-逆文档频率属性队列;
对所述被检索文档矩阵的每一词序列进行词性分析,得到所述被检索文档矩阵对应的词性频率属性队列;
使用命名实体识别技术,识别所述被检索文档矩阵中每一语句序列的实体,并结合预设知识图谱三元组,得到所述被检索文档矩阵对应的实体共现频率属性队列;
结合所述词频-逆文档频率属性队列、所述词性频率属性队列与所述实体共现频率属性队列,得到所述目标备选词集合。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011215045.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种混凝土加工用搅拌装置
- 下一篇:一种无框车窗的控制方法、装置、系统及介质