[发明专利]多音字标注模板生成方法和装置有效
申请号: | 201510695421.5 | 申请日: | 2015-10-22 |
公开(公告)号: | CN105225657A | 公开(公告)日: | 2016-01-06 |
发明(设计)人: | 肖朔;白洁;李秀林 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
主分类号: | G10L13/06 | 分类号: | G10L13/06 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 宋合成 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 多音字 标注 模板 生成 方法 装置 | ||
1.一种多音字标注模板生成方法,其特征在于,包括以下步骤:
获取原始语料;
对所述原始语料进行预处理,并生成包含多音字的语料数据;
切分所述语料数据以生成多个分词,并对所述多个分词进行词性标注,以及进行近义词归一化处理;
对归一化后的所述多个分词进行组合,并生成对应的句型;以及
反向生成所述句型对应的多音字标注语料,并根据所述多音字标注语料生成多音字标注模板。
2.如权利要求1所述的方法,其特征在于,所述预处理包括断句、符号过滤、去重排序中的一种或多种。
3.如权利要求1所述的方法,其特征在于,所述对归一化后的所述多个分词进行组合,并生成对应的句型,包括:
对归一化后的所述多个分词进行组合,并生成多个分词组合;
对所述多个分词组合的词频进行统计,获取所述词频大于频率阈值的分词组合;以及
过滤不满足预设条件的分词组合,以生成对应的句型,其中,所述预设条件包括未登录词数量、单字数量以及所述分词的近义词数量。
4.如权利要求1所述的方法,其特征在于,所述反向生成所述句型对应的多音字标注语料,包括:
基于近义词表反向生成所述句型对应的多音字标注语料。
5.如权利要求4所述的方法,其特征在于,在所述基于近义词表反向生成所述句型对应的多音字标注语料之前,还包括:
将所述句型与训练语料进行匹配;
若所述句型与所述训练语料匹配,则根据所述训练语料对所述句型进行标注;以及
若所述句型与所述训练语料不匹配,则通过人工方式对所述句型进行标注。
6.如权利要求1所述的方法,其特征在于,所述根据所述多音字标注语料生成多音字标注模板,包括:
对所述多音字标注语料进行切分,并抽取所述多音字标注语料中每个分词的特征;
将所述特征代入至特征模板中,以生成对应的特征组合;以及
根据所述特征组合为预测算法生成对应的格式模板。
7.一种多音字标注模板生成装置,其特征在于,包括:
获取模块,用于获取原始语料;
第一生成模块,用于对所述原始语料进行预处理,并生成包含多音字的语料数据;
处理模块,用于切分所述语料数据以生成多个分词,并对所述多个分词进行词性标注,以及进行近义词归一化处理;
第二生成模块,用于对归一化后的所述多个分词进行组合,并生成对应的句型;以及
反向生成模块,用于反向生成所述句型对应的多音字标注语料,并根据所述多音字标注语料生成多音字标注模板。
8.如权利要求7所述的装置,其特征在于,所述预处理包括断句、符号过滤、去重排序中的一种或多种。
9.如权利要求7所述的装置,其特征在于,所述第二生成模块,具体用于:
对归一化后的所述多个分词进行组合,并生成多个分词组合;
对所述多个分词组合的词频进行统计,获取所述词频大于频率阈值的分词组合;以及
过滤不满足预设条件的分词组合,以生成对应的句型,其中,所述预设条件包括未登录词数量、单字数量以及所述分词的近义词数量。
10.如权利要求7所述的装置,其特征在于,所述反向生成模块,具体用于:
基于近义词表反向生成所述句型对应的多音字标注语料。
11.如权利要求10所述的装置,其特征在于,所述装置还包括:
标注模块,用于在所述基于近义词表反向生成所述句型对应的多音字标注语料之前,将所述句型与训练语料进行匹配,若所述句型与所述训练语料匹配,则根据所述训练语料对所述句型进行标注,以及若所述句型与所述训练语料不匹配,则通过人工方式对所述句型进行标注。
12.如权利要求7所述的装置,其特征在于,所述反向生成模块,具体用于:
对所述多音字标注语料进行切分,并抽取所述多音字标注语料中每个分词的特征;
将所述特征代入至特征模板中,以生成对应的特征组合;以及
根据所述特征组合为预测算法生成对应的格式模板。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510695421.5/1.html,转载请声明来源钻瓜专利网。