[发明专利]一种OCR错误纠正的方法、装置、电子设备及存储介质在审
申请号: | 202110235350.6 | 申请日: | 2021-03-03 |
公开(公告)号: | CN113095067A | 公开(公告)日: | 2021-07-09 |
发明(设计)人: | 石峻宇;乔媛媛 | 申请(专利权)人: | 北京邮电大学 |
主分类号: | G06F40/232 | 分类号: | G06F40/232;G06N20/20 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 项京;高莺然 |
地址: | 100876 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 ocr 错误 纠正 方法 装置 电子设备 存储 介质 | ||
1.一种OCR错误纠正的方法,其特征在于,所述方法包括:
获取包含错误字符的目标领域的光学字符识别OCR错误文本;
将所述错误字符替换为占位符,获得待纠正文本;
将所述OCR错误文本和所述待纠正文本输入到预先训练好的错误纠正模型;所述错误纠正模型为:预先针对目标领域,用包含错误字符的多个样本错误文本、多个样本错误文本对应的包含错误字符占位符的待纠正样本文本和多个样本错误文本对应的正确样本文本对预设的语言表征BERT模型进行训练获得的;
获取所述错误纠正模型输出的目标字符;所述目标字符为:错误纠正模型预测出的位于待纠正文本中占位符位置的正确字符;
将所述待纠正文本中的占位符替换为所述目标字符,获得纠正后OCR文本。
2.根据权利要求1所述的方法,其特征在于,所述错误纠正模型的训练过程包括:
将语料库中的多个文本中的多个字符替换为占位符作为多个第一待纠正样本文本,并且将所述多个字符作为第一样本标注字符;所述语料库中的多个文本为:包含正确字符的文本;
使用所述多个第一待纠正样本文本和所述第一样本标注字符,对初始语言表征BERT模型进行训练,获得中间语言表征BERT模型;
针对目标领域,使用包含错误字符的多个第二样本错误文本、多个第二样本错误文本对应的包含错误字符占位符的第二待纠正样本文本和多个第二样本错误文本对应的正确样本文本,对所述中间语言表征BERT模型进行训练获得错误纠正模型。
3.根据权利要求2所述的方法,其特征在于,所述使用所述多个第一待纠正样本文本和所述第一样本标注字符,对初始语言表征BERT模型进行训练,获得中间语言表征BERT模型的步骤,包括:
将每个第一待纠正样本文本输入到当前初始语言表征BERT模型中,获取所述当前初始语言表征BERT模型输出的各个第一样本目标字符;所述第一样本目标字符为:当前初始语言表征BERT模型预测出的位于第一待纠正样本文本中占位符位置的正确字符;
基于各个第一样本目标字符、各个第一样本标注字符和预设的第一损失函数,计算第一损失值;
根据所述第一损失值,判断所述当前初始语言表征BERT模型是否收敛;
如果是,则确定所述当前初始语言表征BERT模型为中间语言表征BERT模型;如果否,则调整并更新所述当前初始语言表征BERT模型的网络参数,返回执行所述将每个第一待纠正样本文本输入到当前初始语言表征BERT模型中,获取所述当前初始语言表征BERT模型输出的各个第一样本目标字符的步骤。
4.根据权利要求3所述的方法,其特征在于,所述针对目标领域,使用包含错误字符的多个第二样本错误文本、多个第二样本错误文本对应的包含错误字符占位符的第二待纠正样本文本和多个第二样本错误文本对应的正确样本文本,对所述中间语言表征BERT模型进行训练获得错误纠正模型的步骤,包括:
针对目标领域,获取包含错误字符的多个第二样本错误文本,及其对应的正确样本文本;
基于所述多个第二样本错误文本和其对应的正确样本文本,将所述第二样本错误文本中的多个错误字符替换为占位符后,作为第二待纠正样本文本,并且将所述第二样本错误文本中的多个错误字符对应的正确字符,作为第二样本标注字符;
将每个第二样本错误文本和对应的第二待纠正样本文本输入到当前中间语言表征BERT模型中,获得所述当前中间语言表征BERT模型输出的各个第二样本目标字符;所述第二样本目标字符为:当前中间语言表征BERT模型预测出的位于第二待纠正样本文本中占位符位置的正确字符;
基于各个第二样本目标字符、各个第二样本标注字符和预设的第二损失函数,计算第二损失值;
根据所述第二损失值,判断所述当前中间语言表征BERT模型是否收敛;
如果是,则确定所述当前中间语言表征BERT模型为训练好的错误纠正模型;如果否,则调整并更新所述当前中间语言表征BERT模型的网络参数,返回执行所述将每个第二样本错误文本和对应的第二待纠正样本文本输入到当前中间语言表征BERT模型中,获得所述当前中间语言表征BERT模型输出的各个第二样本目标字符的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京邮电大学,未经北京邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110235350.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种金属化聚丙烯薄膜介质电容器的蒸镀工艺
- 下一篇:一种孵化装置