[发明专利]文本纠错方法、装置、介质及设备在审
申请号: | 202110172228.9 | 申请日: | 2021-02-08 |
公开(公告)号: | CN113392635A | 公开(公告)日: | 2021-09-14 |
发明(设计)人: | 罗文寒;陈博恒;殷泽龙 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F40/232 | 分类号: | G06F40/232;G06F40/289 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 熊永强;贾允 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 纠错 方法 装置 介质 设备 | ||
本申请公开了文本纠错方法、装置、介质及设备,涉及人工智能领域,该方法包括:获取待纠错文本,基于语言模型对所述待纠错文本进行预测,得到所述待纠错文本中目标文本的文本预测值;根据形近字列表确定所述文本预测值的一个或多个形近字,所述形近字列表是预先通过对文本库语料进行处理得到的;根据所述文本预测值和所述文本预测值的一个或多个形近字,对所述待纠错文本中所述目标文本进行纠错。本申请基于词频分析和差异量化建立形近字列表,提升在检错纠错过程中的可靠性,同时将模型预测与形近字列表结合对文本进行纠错,提高文本纠错的准确率。
技术领域
本申请涉及人工智能技术领域,具体涉及文本纠错方法、装置、介质及设备。
背景技术
人工智能(AI,Artificial Intelligence)是计算机科学的一个综合技术,通过研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,例如自然语言处理、机器学习、深度学习等几大方向。随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
在对文本的纠错方式中,基于语言预测模型根据上下文对特定位置的文字进行预测,如果预测出来的字与该位置原本的字不一样,则直接认为原始文本发生错误,进而用预测出来的字对该文字进行替换纠错。但模型的预测表现不尽如人意,直接用预测的文本替换初始的文本,纠错的准确率较低,容易出现将正确的文本纠错成错误的文本。
发明内容
为了提高文本纠错的准确率,本申请提供了文本纠错方法、装置、介质及设备。所述技术方案如下:
第一方面,本申请提供了一种文本纠错方法,所述方法包括:
获取待纠错文本,基于语言模型对所述待纠错文本进行预测,得到所述待纠错文本中目标文本的文本预测值;
根据形近字列表确定所述文本预测值的一个或多个形近字,所述形近字列表是预先通过对文本库语料进行处理得到的;
根据所述文本预测值和所述文本预测值的一个或多个形近字,对所述待纠错文本中所述目标文本进行纠错。
第二方面,本申请提供了一种文本纠错装置,所述装置包括:
预测模块,用于获取待纠错文本,基于语言模型对所述待纠错文本进行预测,得到所述待纠错文本中目标文本的文本预测值;
形近字确定模块,用于根据形近字列表确定所述文本预测值的一个或多个形近字,所述形近字列表是预先通过对文本库语料进行处理得到的;
纠错模块,用于根据所述文本预测值和所述文本预测值的一个或多个形近字,对所述待纠错文本中所述目标文本进行纠错。
第三方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如第一方面所述的一种文本纠错方法。
第四方面,本申请提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由所述处理器加载并执行以实现如第一方面所述的一种文本纠错方法。
本申请提供的文本纠错方法、装置、设备及存储介质,具有如下技术效果:
(1)本申请提供的方案考虑到形近字这一因素,基于词频分析和差异量化建立形近字列表,提升在检错纠错过程中的可靠性;
(2)本申请提供的方案通过语言模型对文本进行预测,并结合形近字列表进行对文本的纠错,提高对文本纠错的准确率。
本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110172228.9/2.html,转载请声明来源钻瓜专利网。
- 上一篇:流量测量装置
- 下一篇:信息处理系统、信息处理方法、信息处理程序和装置