[发明专利]文本判别的方法、装置、电子设备及存储介质有效
申请号: | 202110479518.8 | 申请日: | 2021-04-30 |
公开(公告)号: | CN113128220B | 公开(公告)日: | 2023-07-18 |
发明(设计)人: | 洪煜中 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F18/2415;G06N3/04;G06N3/084 |
代理公司: | 北京华夏泰和知识产权代理有限公司 11662 | 代理人: | 唐会娜;杜欣 |
地址: | 100080 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 别的 方法 装置 电子设备 存储 介质 | ||
1.一种文本判别方法,其特征在于,包括: 执行以下判别过程:
获取待识别文本,所述待识别文本中包括至少一个字符;
确定所述待识别文本中目标字符的敏感度,所述目标字符为所述待识别文本中的任一字符;
根据所述目标字符的敏感度和至少一个与所述目标字符相邻的邻域字符的敏感度,确定所述目标字符的召回倾向度,所述召回倾向度指示所述目标字符所在的待识别文本被召回的倾向程度;
在所述目标字符的所述召回倾向度大于预设值时,确定所述待识别文本需要召回;
其中,所述确定所述待识别文本中目标字符的敏感度,包括:
获取预设的敏感词集;
根据预设敏感词集对所述待识别文本进行全称匹配,得到匹配结果;
根据所述匹配结果,对所述目标字符进行赋值,将赋值结果作为所述目标字符的敏感度,其中,匹配成功的目标字符的敏感度大于未匹配成功的目标字符的敏感度;
其中,所述根据所述目标字符的敏感度和至少一个与所述目标字符相邻的相邻字符的敏感度,确定所述目标字符的召回倾向度,包括:
根据每个所述目标字符的所述赋值结果,确定所述待识别文本的匹配序列;
对所述匹配序列进行平滑处理,得到平滑序列;
根据所述平滑序列,确定所述目标字符的召回倾向度。
2.根据权利要求1所述的文本判别方法,其特征在于,还包括:
获取训练样本集,所述训练样本集中包括至少一个训练文本、各所述训练文本中各训练字符的真实召回倾向度以及所述训练文本的真实判别结果,所述真实召回倾向度和所述真实判别结果是所述训练文本通过执行所述判别过程得到;
根据所述训练样本集对初始神经网络进行训练,得到判别神经网络;
基于所述判别神经网络确定所述待识别文本是否需要召回。
3.根据权利要求2所述的文本判别方法,其特征在于,所述根据所述训练样本集对初始神经网络进行训练,得到判别神经网络,包括:
分别对所述训练样本集中的每个训练文本执行以下训练过程:
将所述训练文本输入初始神经网络,对所述训练文本中的各训练字符赋予训练字符向量,将所述训练字符向量与初始查询向量点乘,得到所述训练字符的预测召回倾向度;根据所述预测召回倾向度对所述训练字符向量加权平均,并将加权平均后的结果依次输入隐藏层、全连接层和输出层,得到样本输出结果,根据所述样本输出结果判断所述训练文本是否需要召回,得到预测判别结果;
根据所述训练文本的所述预测召回倾向度和所述真实召回倾向度,更新所述初始查询向量的第一参数,以及根据所述预测判别结果和所述真实判别结果,更新所述初始神经网络的第二参数,重复执行所述训练过程,直至所述训练文本召回倾向度的准确度大于第一预设值,以及判别结果的准确度大于第二预设阈值;
将更新后的初始神经网络作为所述判别神经网络。
4.根据权利要求3所述的文本判别方法,其特征在于,所述根据所述训练文本的所述预测召回倾向度和所述真实召回倾向度,更新所述初始查询向量的第一参数,包括:
根据所述训练文本的所述预测召回倾向度和所述真实召回倾向度,计算第一交叉熵;
根据所述第一交叉熵,将梯度反向传播到所述初始查询向量,优化所述初始查询向量的第一参数。
5.根据权利要求3所述的文本判别方法,其特征在于,以及根据所述预测判别结果和所述真实判别结果,更新所述初始神经网络的第二参数,包括:
根据所述训练文本的所述预测判别结果和所述真实判别结果,计算第二交叉熵;
根据所述第二交叉熵,将梯度反向传播到所述初始神经网络,优化所述初始神经网络每一层的第二参数。
6.根据权利要求1-5任一项所述的文本判别方法,其特征在于,还包括:
获取所述召回倾向度;
根据所述召回倾向度对各所述字符匹配字符颜色,其中,所述字符颜色与所述召回倾向度相关;
显示所述待识别文本的字符颜色。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110479518.8/1.html,转载请声明来源钻瓜专利网。