[发明专利]一种文本纠错方法及装置有效
申请号: | 202110191102.6 | 申请日: | 2021-02-19 |
公开(公告)号: | CN113010635B | 公开(公告)日: | 2023-05-26 |
发明(设计)人: | 俞霖霖;袁威强;李家诚;胡光龙 | 申请(专利权)人: | 网易(杭州)网络有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F40/20;G06N3/0464;G06N3/0442;G06N3/08 |
代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 郭晓丽 |
地址: | 310052 浙江省杭州*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 纠错 方法 装置 | ||
1.一种文本纠错方法,其特征在于,包括:
获取待纠错文本中每个待纠错字的第一文本特征;
分别对所述每个待纠错字执行以下操作,直至获得所述每个待纠错字的修改方式:
将任意一待纠错字的第一文本特征输入到预设多分类模型中,确定预设字典中每个候选字对于任意一待纠错字的第一类修改方式的第一类修改标签,以及对于所述任意一待纠错字的第二类修改方式的第二类修改标签;所述第一类修改标签包括替换标签与插入标签,对应的第一类修改方式分别为替换操作与插入操作,所述第二类修改标签包括删除标签与调序标签,对应的第二类修改方式分别为删除操作与调序操作;
根据各个第一类修改标签各自对应的第一预测概率,以及各个第二类修改标签各自对应的第二预测概率,得到符合筛选标准的目标预测概率所对应的修改标签,并基于相应的修改标签,确定所述任意一待纠错字的修改方式;其中,每个第一预测概率表征:基于一个第一类修改标签对应的第一类修改方式,纠正文本错误的概率,每个第二预测概率表征:基于一个第二类修改标签对应的第二类修改方式,纠正文本错误的概率;
根据所述每个待纠错字的修改方式修改所述待纠错文本,得到目标文本。
2.如权利要求1所述的方法,其特征在于,所述获取待纠错文本中每个待纠错字的第一文本特征,包括:
将所述待纠错文本转换为待纠错字序列;
将所述待纠错字序列中的每个待纠错字映射为对应的待纠错字向量;
对各个待纠错字向量进行特征提取,得到各自对应的第一文本特征。
3.如权利要求1所述的方法,其特征在于,所述根据所述各个第一类修改标签各自对应的第一预测概率,以及所述各个第二类修改标签各自对应的第二预测概率,得到符合筛选标准的目标预测概率所对应的修改标签,并基于相应的修改标签,确定所述任意一待纠错字的修改方式,包括:
获取所述各个第一类修改标签各自对应的第一预测概率,以及所述各个第二类修改标签的第二预测概率;
对各个第一预测概率和各个第二预测概率进行筛选,将符合筛选标准的预测概率作为目标预测概率;
基于所述目标预测概率对应的修改标签,确定所述任意一待纠错字的修改方式。
4.如权利要求3所述的方法,其特征在于,所述对各个第一预测概率和各个第二预测概率进行筛选,将符合筛选标准的预测概率作为目标预测概率,包括:
按照预测概率的取值大小,对所述各个第一预测概率进行排序,获得第一预测概率序列,以及对所述各个第二预测概率进行排序,获得第二预测概率序列;
将所述第一预测概率序列中符合所述筛选标准且排列在预设排序范围内的预测概率,作为所述目标预测概率,以及将所述第二预测概率序列中符合所述筛选标准且排列在预设排序范围内的预测概率,作为所述目标预测概率。
5.如权利要求3所述的方法,其特征在于,所述对各个第一预测概率和各个第二预测概率进行筛选,将符合筛选标准的预测概率作为目标预测概率,包括:
按照预测概率的取值大小,对所述各个第一预测概率和所述各个第二预测概率进行排序,获得第三预测概率序列;
将所述第三预测概率序列中符合所述筛选标准且排列在预设排序范围内的预测概率,作为所述目标预测概率。
6.如权利要求3所述的方法,其特征在于,所述对各个第一预测概率和各个第二预测概率进行筛选,还包括:
若所述各个第一预测概率和所述各个第二预测概率均不符合所述筛选标准,则保留所述任意一待纠错字。
7.如权利要求3-6任一项所述的方法,其特征在于,若满足以下条件,则判定所述预测概率符合所述筛选标准:
所述预测概率大于预设的预测概率阈值,且所述预测概率大于所述候选字为所述任意一待纠错字的第一预测概率的预测概率。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于网易(杭州)网络有限公司,未经网易(杭州)网络有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110191102.6/1.html,转载请声明来源钻瓜专利网。