[发明专利]文本纠错方法、装置、电子设备以及存储介质有效
申请号: | 202011548334.4 | 申请日: | 2020-12-24 |
公开(公告)号: | CN112580324B | 公开(公告)日: | 2023-07-25 |
发明(设计)人: | 徐梦笛;赖佳伟;邓卓彬;付志宏 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F40/194 | 分类号: | G06F40/194 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 韩海花 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 纠错 方法 装置 电子设备 以及 存储 介质 | ||
1.一种文本纠错方法,包括:
获取待处理的文本,以及所述文本所属的目标场景;
获取所述目标场景下的词语替换表,并结合所述目标场景下的词语替换表,获取所述文本中的各个错误词语,以及每个错误词语对应的候选词语列表;
从所述各个错误词语对应的候选词语列表中,选择所述各个错误词语对应的待替换词语;
结合所述各个错误词语对应的待替换词语,对所述文本进行纠错处理,得到纠错后文本;
其中,所述结合所述各个错误词语对应的待替换词语,对所述文本进行纠错处理,得到纠错后文本,包括:
获取多业务场景下的混合词语替换表,并结合所述混合词语替换表以及经过预训练的纠错模块,获取所述文本中的各个第二错误词语以及对应的待替换词语;
结合所述各个错误词语对应的待替换词语,对所述文本进行纠错处理,得到第一文本;
获取所述各个第二错误词语中的第三错误词语,其中,所述第三错误词语未存在于所述各个错误词语中;
结合所述第三错误词语,对所述第一文本进行纠错处理,得到所述纠错后文本。
2.根据权利要求1所述的方法,其中,在结合所述目标场景下的词语替换表,获取所述文本中的各个错误词语,以及每个错误词语对应的候选词语列表之前,还包括:
获取所述目标场景下的专业词语列表;
获取所述文本中的各个词语;
根据所述各个词语查询所述专业词语列表,获取所述文本中的专业词语;
去除所述文本中的所述专业词语。
3.根据权利要求1所述的方法,其中,所述词语替换表包括以下表中的至少一个:所述目标场景下的错误替换表、所述目标场景下的音近字替换表、所述目标场景下的形近字替换表;
在所述词语替换表包括所述错误替换表、所述音近字替换表以及所述形近字替换表时,所述结合所述目标场景下的词语替换表,获取所述文本中的各个错误词语,以及每个错误词语对应的候选词语列表,包括:
确定所述文本中的各个错误词语;
针对每个错误词语,根据所述错误词语查询所述错误替换表、所述音近字替换表和所述形近字替换表,获取所述错误词语对应的候选词语;
针对每个错误词语,获取所述文本与所述错误词语对应的候选词语之间的匹配度;
根据对应的匹配度,从所述错误词语对应的候选词语中选择多个目标候选词语;
根据所述多个目标候选词语,生成所述错误词语对应的候选词语列表。
4.根据权利要求1或2所述的方法,其中,在结合所述各个错误词语对应的待替换词语,对所述文本进行纠错处理,得到纠错后文本之前,还包括:
根据所述各个错误词语以及对应的待替换词语,查询所述目标场景下的黑名单,获取存在于所述黑名单中的第一错误词语以及对应的第一待替换词语;
删除所述第一错误词语以及对应的第一待替换词语。
5.根据权利要求4所述的方法,其中,在结合所述各个错误词语对应的待替换词语,对所述文本进行纠错处理,得到纠错后文本之前,还包括:
获取所述文本中的非错误词语;
根据所述非错误词语查询所述目标场景下的白名单,获取存在于所述白名单中的第一非错误词语;
将所述第一非错误词语作为错误词语,将所述白名单中所述第一非错误词语对应的词语,作为所述错误词语对应的待替换词语。
6.根据权利要求5所述的方法,其中,在获取所述目标场景下的词语替换表,并结合所述目标场景下的词语替换表,获取所述文本中的各个错误词语,以及每个错误词语对应的候选词语列表之前,还包括:
构建初始的纠错模型,其中,所述纠错模型包括:去除专业词语的专业词语豁免模块、生成错误词语以及对应的候选词语列表的目标场景候选召回模块、用于选择待替换词语的经过预训练的纠错模块以及名单处理模块;
获取所述目标场景下的训练数据;
采用所述训练数据,对所述初始的纠错模型进行训练,得到训练好的纠错模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011548334.4/1.html,转载请声明来源钻瓜专利网。