[发明专利]一种文本纠错的方法、装置、电子设备及存储介质在审
申请号: | 202110711749.7 | 申请日: | 2021-06-25 |
公开(公告)号: | CN113343678A | 公开(公告)日: | 2021-09-03 |
发明(设计)人: | 詹明捷;梁鼎 | 申请(专利权)人: | 北京市商汤科技开发有限公司 |
主分类号: | G06F40/279 | 分类号: | G06F40/279;G06F40/211;G06F40/284;G06K9/20;G06K9/34;G06N3/04;G06N3/08 |
代理公司: | 北京中知恒瑞知识产权代理事务所(普通合伙) 11889 | 代理人: | 吴迪 |
地址: | 100080 北京市海淀区北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 纠错 方法 装置 电子设备 存储 介质 | ||
本公开提供了一种文本纠错的方法、装置、电子设备及存储介质,其中,该方法包括:获取待纠错文本内容;基于训练的文本纠错网络对待纠错文本内容进行包括字音维度以及字形维度在内的多维度文本纠错,得到纠错后的文本内容;其中,文本纠错网络为基于生成的错误语句样本训练得到的,错误语句样本为基于预设的字音相似字符和字形相似字符对正确语句样本进行破坏得到的。本公开中的文本纠错网络可以学习到错误语句与正确语句之间的转换关系,进而可以指导待纠错文本内容的快速纠错,纠错效率较高。
技术领域
本公开涉及信息处理技术领域,具体而言,涉及一种文本纠错的方法、装置、电子设备及存储介质。
背景技术
随着科技的不断发展,文字识别技术,尤其是光学字符识别(Optical CharacterRecognition,OCR)技术,得到了越来越广泛的应用。OCR识别技术可以从图像中识别出文本内容。然而,由于受到诸如书写字体、外界环境等各方面的影响,导致识别出来的文本内容会出现错字。
文本纠错即是对文本中的错字进行修正的过程。相关技术中可采用人工方式进行修正,这将耗费相关人员的大量时间,纠错效率较低。
发明内容
本公开实施例至少提供一种文本纠错的方法、装置、电子设备及存储介质,以提高纠错效率。
第一方面,本公开实施例提供了一种文本纠错的方法,所述方法包括:
获取待纠错文本内容;
基于训练的文本纠错网络对所述待纠错文本内容进行包括字音维度以及字形维度在内的多维度文本纠错,得到纠错后的文本内容;
其中,所述文本纠错网络为基于生成的错误语句样本训练得到的,所述错误语句样本为基于预设的字音相似字符和字形相似字符对正确语句样本进行破坏得到的。
采用上述文本纠错的方法,在获取到待纠错文本内容的情况下,可以基于训练的文本纠错网络对待纠错文本内容进行多维度文本纠错,以得到纠错后的文本内容。由于这里的文本纠错网络是基于预设的字音相似字符和字形相似字符对正确语句样本进行破坏得到的错误语句样本训练得到的,这样,该文本纠错网络可以学习到错误语句与正确语句之间的转换关系,进而可以指导待纠错文本内容的快速纠错,且纠错效率较高。
在一种可能的实施方式中,按照如下步骤训练所述文本纠错网络:
获取正确语句样本以及对所述正确语句样本进行文本破坏得到的错误语句样本;所述错误语句样本与所述正确语句样本之间至少存在一个不同的字符;
将所述错误语句样本作为待训练的文本纠错网络的输入数据,得到输出结果,并将所述错误语句样本对应的正确语句样本作为所述错误语句样本的标签,对所述待训练的文本纠错网络进行至少一轮训练,得到训练好的文本纠错网络。
这里,通过标签与输出结果之间的比对结果实现文本纠错网络的训练,直至输出结果指向的是正确语句样本的情况下,说明达到训练目的,也即,训练得到了错误语句与正确语句之间的转换关系,训练得到的文本纠错网络的纠错准确度也较高。
在一种可能的实施方式中,按照如下步骤获取所述错误语句样本:
获取预设的候选字符表;所述候选字符表包括有多个候选字符、以及与每个所述候选字符对应的字音相似字符和字形相似字符;
基于获取的所述候选字符表对所述正确语句样本进行文本破坏,得到所述错误语句样本。
这里,可以基于候选字符对应的字音相似字符以及字形相似字符实现对正确语句样本的文本破坏,从而能够在文本纠错阶段可以就字音维度以及字形维度等多个维度进行纠错,提升纠错的准确度。
在一种可能的实施方式中,所述基于获取的所述候选字符表对所述正确语句样本进行文本破坏,得到所述错误语句样本,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京市商汤科技开发有限公司,未经北京市商汤科技开发有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110711749.7/2.html,转载请声明来源钻瓜专利网。