[发明专利]一种文本检错方法及装置有效
申请号: | 201811458471.1 | 申请日: | 2018-11-30 |
公开(公告)号: | CN111259654B | 公开(公告)日: | 2023-09-15 |
发明(设计)人: | 张占秋;李帅;王伟玮;王杰 | 申请(专利权)人: | 北京嘀嘀无限科技发展有限公司 |
主分类号: | G06F40/232 | 分类号: | G06F40/232;G06F40/289 |
代理公司: | 北京超成律师事务所 11646 | 代理人: | 邓超 |
地址: | 100193 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 检错 方法 装置 | ||
1.一种文本检错方法,其特征在于,包括:
获取生成待检测文本的用户端信息;
选取与所述用户端信息匹配的语料库;所述语料库存储有多个正确的文本;
基于存储有多个正确的文本的所述语料库,从所述待检测文本中确定目标疑似词汇;
基于每个目标疑似词汇出现在所述待检测文本的当前位置的概率,从所述目标疑似词汇中筛选目标错误字符;
其中,所述基于存储有多个正确的文本的所述语料库,从待检测文本中确定目标疑似词汇,包括:
基于存储有多个正确的文本的所述语料库,从所述待检测文本中筛选疑似错误词汇和疑似错误字符;
从所述待检测文本中获取每个所述疑似错误字符所属的词汇,并从所述疑似错误字符所属的词汇中筛选属于所述疑似错误词汇的词汇,得到目标疑似词汇。
2.根据权利要求1所述的方法,其特征在于,所述选取与所述用户端信息匹配的语料库,包括:
获取与所述用户端信息对应的历史文本信息;
从获取的历史文本信息中选取正确文本,得到所述语料库。
3.根据权利要求2所述的方法,其特征在于,所述获取与所述用户端信息对应的历史文本信息,包括:
基于所述用户端信息,确定目标用户群;
获取所述目标用户群对应的用户生成的历史文本信息。
4.根据权利要求1所述的方法,其特征在于,所述从所述目标疑似词汇中筛选目标错误字符,包括:
基于每个目标疑似词汇出现在所述待检测文本的当前位置的概率,从所述目标疑似词汇中筛选目标错误词汇;
从所述目标错误词汇的所有字符中,筛选属于所述疑似错误字符的字符,得到所述目标错误字符。
5.根据权利要求4所述的方法,其特征在于,所述从所述目标疑似词汇中筛选目标错误词汇,包括:
确定每个目标疑似词汇出现在所述待检测文本的当前位置的概率,得到每个目标疑似词汇的第一概率;
筛选第一概率小于第一预定值的目标疑似词汇,得到所述目标错误词汇。
6.根据权利要求5所述的方法,其特征在于,确定所述第一概率包括:
获取所述目标疑似词汇在所述待检测文本中的前一个词汇,得到第一词汇;
获取所述目标疑似词汇在所述待检测文本中的后一个词汇,得到第二词汇;
根据所述语料库中每两个词汇共同出现的概率,确定所述目标疑似词汇、所述第一词汇以及所述第二词汇共同出现的概率,得到所述第一概率。
7.根据权利要求6所述的方法,其特征在于,所述语料库中每两个词汇共同出现的概率具体为,其中一个词汇出现在另外一个词汇的后面的概率;
确定所述第一概率包括,
根据所述语料库中每两个词汇共同出现的概率,确定所述目标疑似词汇出现在所述第一词汇的后面,并且所述第二词汇出现在所述目标疑似词汇的后面的概率。
8.根据权利要求1所述的方法,其特征在于,从待检测文本中筛选疑似错误词汇和疑似错误字符,包括:
获取待检测文本;
基于所述语料库中每两个字符共同出现的概率和每两个词汇共同出现的概率,从所述待检测文本中筛选疑似错误词汇和疑似错误字符。
9.根据权利要求8所述的方法,其特征在于,从所述待检测文本中筛选疑似错误字符,包括:
获取所述待检测文本的从第N个字符开始的M个字符,得到至少一个第一集合;其中,N大于或等于1,并且N小于或等于L-M-1,L表示所述待检测文本的字符的个数;
根据所述语料库中每两个字符共同出现的概率,确定所述第一集合中的M个字符共同出现的概率,得到第二概率;
基于所述第二概率,从所述第一集合中筛选所述疑似错误字符。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京嘀嘀无限科技发展有限公司,未经北京嘀嘀无限科技发展有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811458471.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种用于燃气灶的火盖
- 下一篇:自动收轨装置、作业尾车及长钢轨运输车组