[发明专利]文本纠错方法、装置、电子设备和存储介质在审
申请号: | 202110969895.X | 申请日: | 2021-08-23 |
公开(公告)号: | CN115719062A | 公开(公告)日: | 2023-02-28 |
发明(设计)人: | 李晟;孔令凯;冯烨;李佳贞 | 申请(专利权)人: | 中移(成都)信息通信科技有限公司;中国移动通信集团有限公司 |
主分类号: | G06F40/253 | 分类号: | G06F40/253;G06F40/289;G06F40/211;G06F40/30;G06N3/04;G06N3/08 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 蒋雅洁;张颖玲 |
地址: | 610041 四川省成都市中国(四川)*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 纠错 方法 装置 电子设备 存储 介质 | ||
1.一种文本纠错方法,其特征在于,所述方法包括:
获取待纠错文本;
基于已训练的纠错模型对所述待纠错文本进行纠错,得到纠错后文本;
其中,所述已训练的纠错模型是利用训练文本对初始纠错模型进行训练得到的;
所述训练文本是基于对第一初始文本进行文本处理后得到的文本和对第一修改文本进行文本处理后得到的文本而生成;所述第一修改文本为对所述第一初始文本进行修改后的文本。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述第一初始文本进行文本处理,得到至少一个第二初始文本;
对所述第一修改文本进行文本处理,得到至少一个第二修改文本;
基于所述至少一个第二初始文本和所述至少一个第二修改文本,生成所述训练文本;
利用所述训练文本,对所述初始纠错模型进行训练,得到所述已训练的纠错模型。
3.根据权利要求2所述的方法,其特征在于,所述文本处理至少进行分词、分句和分段中至少之一处理。
4.根据权利要求2所述的方法,其特征在于,所述文本处理为进行分词处理;所述基于所述至少一个第二初始文本和所述至少一个第二修改文本,生成所述训练文本,包括:
将至少一个所述第二初始文本和至少一个所述第二修改文本,均确定为第一正确文本;
对每一所述第一正确文本中的部分相同词语进行替换处理,得到对应的至少一个第一错误文本;
根据每一所述第一正确文本和对应的至少一个第一错误文本,生成对应的第一文本;
根据至少一个所述第一文本,生成所述训练文本。
5.根据权利要求2所述的方法,其特征在于,所述文本处理为进行分句处理;所述基于所述至少一个第二初始文本和所述至少一个第二修改文本,生成训练文本,包括:
将至少一个所述第二初始文本和至少一个所述第二修改文本,均确定为第二正确子文本;
对至少一个所述第二初始文本和至少一个所述第二修改文本中的部分相同词语进行替换处理,得到对应的至少一个第一待定文本;
对每一所述第一待定文本进行正确性分析,得到对应第一待定文本的分析结果;
在所述分析结果表明所述第一待定文本为正确文本的情况下,根据所述第二正确子文本和所述第一待定文本,生成第二正确文本;在所述分析结果表明所述第一待定文本为错误文本的情况下,根据所述第二正确子文本,生成第二正确文本;根据所述第一待定文本,生成第二错误文本;
根据每一所述第二正确文本和对应的第二错误文本,生成对应的第二文本;
根据至少一个所述第二文本,生成所述训练文本。
6.根据权利要求5所述的方法,其特征在于,所述对每一所述第一待定文本进行正确性分析,得到对应第一待定文本的分析结果,包括:
确定权重大于预设的权重阈值的至少一个目标对象;
将每一所述第一待定文本发送至所述至少一个目标对象,以供每一所述目标对象对所述第一待定文本进行正确性分析,得到所述第一待定文本的对应分析子结果;
获取至少一个所述分析子结果;
基于至少一个所述分析子结果,生成对应第一待定文本的分析结果。
7.根据权利要求2所述的方法,其特征在于,所述文本处理为进行分段处理;所述基于所述至少一个第二初始文本和所述至少一个第二修改文本,生成训练文本,包括:
确定每一所述第二初始文本和每一所述第二修改文本的正确度;
确定每一所述第二初始文本和对应的第二修改文本之间的相似度;
根据每一所述正确度和对应的相似度,从所述至少一个第二初始文本和所述至少一个第二修改文本中确定出至少一个第三正确文本和每一所述第三正确文本对应的至少一个第三错误文本;
根据每一所述第三正确文本和对应的至少一个第三错误文本,生成对应的第三文本;
根据至少一个所述第三文本,生成所述训练文本。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中移(成都)信息通信科技有限公司;中国移动通信集团有限公司,未经中移(成都)信息通信科技有限公司;中国移动通信集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110969895.X/1.html,转载请声明来源钻瓜专利网。