[发明专利]基于语义的相似文本搜索方法、系统、设备和存储介质在审
申请号: | 202010843746.4 | 申请日: | 2020-08-20 |
公开(公告)号: | CN111949765A | 公开(公告)日: | 2020-11-17 |
发明(设计)人: | 卓民;杨楠 | 申请(专利权)人: | 深圳市卡牛科技有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F40/30;G06F40/289 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 潘登 |
地址: | 518000 广东省深圳市南山区粤海*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 语义 相似 文本 搜索 方法 系统 设备 存储 介质 | ||
1.一种基于语义的相似文本搜索方法,其特征在于,包括:
获取目标文本;
将所述目标文本进行拆分以得到多个第一拆分文本;
在基于预设数据库生成的语义特征表中查找到每个所述第一拆分文本的第一语义特征;
获取所述目标文本的目标语义特征,所述目标语义特征为多个所述第一拆分文本的第一语义特征的平均值;
根据所述目标语义特征从所述预设数据库中获取与所述目标文本相似的相似文本。
2.根据权利要求1所述的方法,其特征在于,所述获取目标文本之后包括:
获取用户输入的精度需求;
根据所述精度需求确定语义半径;
则所述在基于预设数据库生成的语义特征表中查找到每个所述第一拆分文本的第一语义特征包括:
基于所述语义半径在基于预设数据库生成的语义特征表中查找到每个所述第一拆分文本的第一语义特征。
3.根据权利要求1所述的方法,其特征在于,所述获取目标文本之前包括:
获取预设数据库中的训练文本;
将所述训练文本进行拆分以得到多个第二拆分文本;
将每个所述第二拆分文本输入至预设的神经网络模型以得到每个所述第二拆分文本的第二语义特征,所述第二语义特征为所述第二拆分文本在预设的语义半径内其余的所述第二拆分文本的出现概率所形成的矩阵;
获取所述训练文本的训练语义特征,所述训练语义特征为多个所述第二语义特征的平均值;
根据所述第二语义特征生成语义特征表。
4.根据权利要求3所述的方法,其特征在于,所述将每个所述第二拆分文本输入至预设的神经网络模型以得到每个所述第二拆分文本的第二语义特征包括:
将所述第二拆分文本转换为基于one-hot编码的第三拆分文本;
将每个所述第三拆分文本输入至预设的神经网络模型以得到每个所述第二拆分文本的第二语义特征。
5.根据权利要求3所述的方法,其特征在于,所述根据所述目标语义特征从所述预设数据库中获取与所述目标文本相似的相似文本包括:
根据所述目标语义特征和训练语义特征从所述预设数据库中获取与所述目标文本相似的相似文本。
6.根据权利要求5所述的方法,其特征在于,所述根据所述目标语义特征和训练语义特征从所述预设数据库中获取与所述目标文本相似的相似文本包括:
获取相似语义特征,所述相似语义特征为与所述目标语义特征的差值小于第一阈值的训练语义特征;
根据所述相似语义特征从所述预设数据库中获取相似文本。
7.根据权利要求3所述的方法,其特征在于,所述神经网络模型为基于Word2vec的Skip-Gram模型。
8.一种基于语义的相似文本搜索系统,其特征在于,包括:
文本获取模块,用于获取目标文本;
文本拆分模块,用于将所述目标文本进行拆分以得到多个第一拆分文本;
特征查找模块,用于在基于预设数据库生成的语义特征表中查找到每个所述第一拆分文本的第一语义特征;
特征获取模块,用于获取所述目标文本的目标语义特征,所述目标语义特征为多个所述第一拆分文本的第一语义特征的平均值;
文本搜索模块,用于根据所述目标语义特征从所述预设数据库中获取与所述目标文本相似的相似文本。
9.一种计算机设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市卡牛科技有限公司,未经深圳市卡牛科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010843746.4/1.html,转载请声明来源钻瓜专利网。