[发明专利]词语预测模板生成方法及装置在审
申请号: | 202110933954.8 | 申请日: | 2021-08-16 |
公开(公告)号: | CN113378561A | 公开(公告)日: | 2021-09-10 |
发明(设计)人: | 崔燕红;余金林;宁超;陈益梦;王昊天 | 申请(专利权)人: | 北京泰迪熊移动科技有限公司 |
主分类号: | G06F40/284 | 分类号: | G06F40/284;G06F40/289 |
代理公司: | 北京乐知新创知识产权代理事务所(普通合伙) 11734 | 代理人: | 江宇 |
地址: | 100085 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 词语 预测 模板 生成 方法 装置 | ||
1.一种词语预测模板生成方法,其特征在于,所述方法包括:
获取训练语料;
对所述训练语料进行分词,得到多个词语;
确定每个词语的特征信息;
针对所述多个词语中的目标词语,利用所述目标词语的左边第N个词语、右边第N个词语和所述目标词语的特征信息生成候选预测模板,其中,1≤N≤M,M为所述目标词语在所述训练语料中左边和右边可扩充的最大词语数量中的较小值,N的初始值为1;
利用候选预测模板在所述训练语料中进行词语提取;
如果提取的词语均与所述目标词语相同,则确定所述候选预测模板为所述目标词语对应的词语预测模板。
2.根据权利要求1所述的方法,其特征在于,在所述利用所述候选预测模板在所述训练语料中进行词语提取之后,所述方法还包括:
如果提取的词语中包括与所述目标词语不同的词语且N小于M,则N+1,执行利用所述目标词语的左边第N个词语、右边第N个词语和所述目标词语的特征信息生成候选预测模板。
3.根据权利要求1所述的方法,其特征在于,在所述利用所述候选预测模板在所述训练语料中进行词语提取之后,所述方法还包括:
如果提取的词语中包括与所述目标词语不同的词语且N等于M,则判断提取的词语中与所述目标词语不同的词语的占比,如果所述占比不大于预设占比阈值,则确定所述候选预测模板为所述目标词语对应的词语预测模板。
4.根据权利要求1所述的方法,其特征在于,在针对所述多个词语中的目标词语,利用所述目标词语的左边第N个词语、右边第N个词语和所述目标词语的特征信息生成候选预测模板之前,所述方法还包括:
将所述多个词语中的可泛化的词语,按类别使用标识值进行替换,并记录标识值对应的词语的正则表达式。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将多个词语预测模板进行融合,生成组合词语预测模板。
6.一种词语预测模板生成装置,其特征在于,所述装置包括:
获取单元,用于获取训练语料;
分词单元,用于对所述训练语料进行分词,得到多个词语;
第一确定单元,用于确定每个词语的特征信息;
生成单元,用于针对所述多个词语中的目标词语,利用所述目标词语的左边第N个词语、右边第N个词语和所述目标词语的特征信息生成候选预测模板,其中,1≤N≤M,M为所述目标词语在所述训练语料中左边和右边可扩充的最大词语数量中的较小值,N的初始值为1;
提取单元,用于利用候选预测模板在所述训练语料中进行词语提取;
第二确定单元,用于如果提取的词语均与所述目标词语相同,则确定所述候选预测模板为所述目标词语对应的词语预测模板。
7.根据权利要求6所述的装置,其特征在于,所述生成单元,还用于如果提取的词语中包括与所述目标词语不同的词语且N小于M,则N+1,执行利用所述目标词语的左边第N个词语、右边第N个词语和所述目标词语的特征信息生成候选预测模板。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
判断单元,用于如果提取的词语中包括与所述目标词语不同的词语且N等于M,则判断提取的词语中与所述目标词语不同的词语的占比;
所述第二确定单元,还用于如果所述占比不大于预设占比阈值,则确定所述候选预测模板为所述目标词语对应的词语预测模板。
9.根据权利要求6所述的装置,其特征在于,所述装置还包括:
泛化单元,用于将所述多个词语中的可泛化的词语,按类别使用标识值进行替换,并记录标识值对应的词语的正则表达式。
10.根据权利要求6所述的装置,其特征在于,所述装置还包括:
融合单元,用于将多个词语预测模板进行融合,生成组合词语预测模板。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京泰迪熊移动科技有限公司,未经北京泰迪熊移动科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110933954.8/1.html,转载请声明来源钻瓜专利网。