[发明专利]词汇纠错方法、装置、计算机设备及存储介质在审
申请号: | 202010587455.3 | 申请日: | 2020-06-24 |
公开(公告)号: | CN111737981A | 公开(公告)日: | 2020-10-02 |
发明(设计)人: | 陈乐清;刘东煜;曾增烽;李炫 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F40/232 | 分类号: | G06F40/232;G06F40/284;G06F16/31;G06F16/35;G06F16/903;G06K9/62 |
代理公司: | 深圳众鼎专利商标代理事务所(普通合伙) 44325 | 代理人: | 谭果林 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 词汇 纠错 方法 装置 计算机 设备 存储 介质 | ||
1.一种词汇纠错方法,其特征在于,包括:
获取待处理词汇,所述待处理词汇包括N个候选字符;
采用倒排索引方法,从预设的分层倒排索引字典中获取每一所述候选字符对应的候选词集,组成候选词集集合,其中,所述分层倒排索引字典中每一字符对应的候选词集是以字符的数量进行分类和分层的方式存储的;
采用编辑距离算法从所述待处理词汇中确定待替换字符,基于所述待替换字符,从所述候选词集集合中确定待处理词集,所述待处理词集包括目标字符和每一所述目标字符对应的候选词集;
对每一所述目标字符对应的候选词集进行交集处理,得到目标词汇,其中,所述目标词汇为对所述待处理词汇进行纠错后得到的词汇。
2.如权利要求1所述的词汇纠错方法,其特征在于,所述在获取待处理词汇之前,所述词汇纠错方法还包括:
获取待存储数据,所述待存储数据包括N个样本字符和每一所述样本字符对应的待存储词集;
将每一所述样本字符对应的所述待存储词集按照字符数量进行分类,得到每一所述样本字符的分层候选词集;
将每一所述样本字符和对应的所述分层候选词集进行分层存储,生成分层倒排索引字典。
3.如权利要求1所述的词汇纠错方法,其特征在于,所述在从预设的分层倒排索引字典中获取每一所述候选字符对应的候选词集之后,所述词汇纠错方法还包括:
根据预设策略对所述待处理词汇中的每一所述候选字符进行组合,得到候选字符组合集,所述候选字符组合集包括至少一个候选字符组合;
获取所述候选字符组合集中每一所述候选字符组合中的每一所述候选字符对应的所述候选词集,对每一所述候选字符组合中的所述候选词集进行交集处理,得到所述待处理词汇的候选词集集合。
4.如权利要求1所述的词汇纠错方法,其特征在于,所述采用倒排索引技术,从预设的分层倒排索引字典中获取每一所述候选字符对应的候选词集,包括:
确定所述待处理词汇的字符数量;
采用倒排索引方法,从预设的分层倒排索引字典中获取每一所述候选字符对应的分层词集;
从每一所述候选字符对应的分层词集中提取出与所述待处理词汇的字符数量相同的词集作为对应的所述候选字符的候选词集。
5.如权利要求1所述的词汇纠错方法,其特征在于,所述采用编辑距离算法从所述待处理词汇中确定待替换字符,包括:
获取待处理词汇中的每一候选字符,作为目标字符串;
采用编辑距离算法计算所述目标字符串与预设字符串的编辑距离,其中,所述预设字符串为预先设定的标准数据所对应的字符串;
基于所述编辑距离确定待替换字符。
6.一种词汇纠错装置,其特征在于,包括:
第一获取模块,用于获取待处理词汇,所述待处理词汇包括N个候选字符;
第二获取模块,用于采用倒排索引方法,从预设的分层倒排索引字典中获取每一所述候选字符对应的候选词集,组成候选词集集合,其中,所述分层倒排索引字典中每一字符对应的候选词集是以字符的数量进行分类和分层的方式存储的;
第一确定模块,用于采用编辑距离算法从所述待处理词汇中确定待替换字符,基于所述待替换字符,从所述候选词集集合中确定待处理词集,所述待处理词集包括目标字符和每一所述目标字符对应的候选词集;
第一交集处理模块,用于对每一所述目标字符对应的候选词集进行交集处理,得到目标词汇,其中,所述目标词汇为对所述待处理词汇进行纠错后得到的词汇。
7.如权利要求6所述的词汇纠错装置,其特征在于,所述词汇纠错装置还包括:
第三获取模块,用于获取待存储数据,所述待存储数据包括N个样本字符和每一所述样本字符对应的待存储词集;
分类模块,用于将每一所述样本字符对应的所述待存储词集按照字符数量进行分类,得到每一所述样本字符的分层候选词集;
存储模块,用于将每一所述样本字符和对应的所述分层候选词集进行分层存储,生成分层倒排索引字典。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010587455.3/1.html,转载请声明来源钻瓜专利网。