[发明专利]用于生成修正语句的方法和装置在审
申请号: | 201811074035.4 | 申请日: | 2018-09-14 |
公开(公告)号: | CN109325227A | 公开(公告)日: | 2019-02-12 |
发明(设计)人: | 邓江东 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27 |
代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;马晓亚 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 修正 词语 语句 词语集合 方法和装置 子集合 预设 目标存储区 错误概率 获取目标 目标语句 使用概率 概率 响应 申请 | ||
1.一种用于生成修正语句的方法,包括:
获取目标语句,以及对所述目标语句进行切词,得到待修正词语集合;
对于所述待修正词语集合中的待修正词语,确定目标存储区中是否存在预设的、与该待修正词语对应的待定词语集合,其中,待定词语具有对应的错误概率和使用概率,错误概率用于表征待定词语被错换为该待修正词语的概率,使用概率用于表征待定词语被使用的概率;响应于确定存在,基于待定词语的错误概率和使用概率,确定待定词语的修正概率,其中,修正概率用于表征将该待修正词语修改为待定词语的概率;按照所得到的修正概率的大小顺序,从待定词语集合中,提取预设数量个待定词语作为待定词语子集合;
基于所得到的待定词语子集合,生成修正语句。
2.根据权利要求1所述的方法,其中,所述目标存储区为预先建立的对应关系表,所述对应关系表包括待修正词语和待定词语集合,所述对应关系表用于表征待修正词语与待定词语集合的对应关系,所述对应关系表还包括待定词语的错误概率和使用概率。
3.根据权利要求1所述的方法,其中,待定词语的错误概率和使用概率预先按照如下步骤得到:
对于待定词语集合中的待定词语,确定预设的、该待定词语对应的文本子集中的文本包括的、该待定词语的数量为第一数量,其中,文本子集是预设的文本集的子集;确定该待定词语对应的文本子集中的文本包括的、该待定词语对应的待修正词语的数量为第二数量;将所确定的第二数量除以第一数量与第二数量之和,得到该待定词语的错误概率;确定该待定词语在所述文本集中的数量为第三数量,以及将所确定的第三数量与所述文本集中的文本包括的词语的总数的比值确定为该待定词语的使用概率。
4.根据权利要求1所述的方法,其中,所述基于所得到的待定词语子集合,生成修正语句,包括:
利用所得到的待定词语子集合中的待定词语,生成至少一个候选修正语句,以及得到所述至少一个候选修正语句中的候选修正语句的置信度;
基于所得到的置信度的大小顺序,从所述至少一个候选修正语句中提取候选修正语句作为修正语句。
5.根据权利要求1-4之一所述的方法,其中,在所述确定目标存储区中是否存在预设的、与该待修正词语对应的待定词语集合之后,所述方法还包括:
响应于确定所述目标存储区中不存在预设的、与该待修正词语对应的待定词语集合,确定该待修正词语包含的汉字的拼音;
基于所确定的拼音,获取至少一个与拼音相匹配的匹配词语;
从所获取的至少一个匹配词语中,选择预设数量个匹配词语作为待定词语子集合。
6.根据权利要求5所述的方法,其中,所得到的至少一个匹配词语中的匹配词语具有对应的热度数值,热度数值用于表征匹配词语被使用的频率;以及
所述从所获取的至少一个匹配词语中,选择预设数量个匹配词语作为待定词语子集合,包括:
按照热度数值的大小顺序,从所获取的至少一个匹配词语中选择预设数量个匹配词语作为待定词语子集合。
7.一种用于生成修正语句的装置,包括:
获取单元,被配置成获取目标语句,以及对所述目标语句进行切词,得到待修正词语集合;
提取单元,被配置成对于所述待修正词语集合中的待修正词语,确定目标存储区中是否存在预设的、与该待修正词语对应的待定词语集合,其中,待定词语具有对应的错误概率和使用概率,错误概率用于表征待定词语被错换为该待修正词语的概率,使用概率用于表征待定词语被使用的概率;响应于确定存在,基于待定词语的错误概率和使用概率,确定待定词语的修正概率,其中,修正概率用于表征将该待修正词语修改为待定词语的概率;按照所得到的修正概率的大小顺序,从待定词语集合中,提取预设数量个待定词语作为待定词语子集合;
生成单元,被配置成基于所得到的待定词语子集合,生成修正语句。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811074035.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种通用的基于关联的词性标注方法
- 下一篇:英文事件触发词抽取方法和系统