[发明专利]一种中文分词方法及系统在审
| 申请号： | 201711141850.3 | 申请日： | 2017-11-17 |
| 公开（公告）号： | CN109800409A | 公开（公告）日： | 2019-05-24 |
| 发明（设计）人： | 赵琦;韦玮 | 申请（专利权）人： | 普天信息技术有限公司 |
| 主分类号： | G06F17/27 | 分类号： | G06F17/27;G06K9/62 |
| 代理公司： | 北京德琦知识产权代理有限公司 11018 | 代理人： | 牛峥;王丽琴 |
| 地址： | 100080 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种中文分词方法及系统，对训练集语料库中的语料区分正常词和稀有词，采用BiLSTM+CRF模型对训练集语料库中的语料训练，得到的标注集中包含了是正常词还是稀有词的标注，所述BiLSTM模型实时根据计算的损失函数进行更新，所述损失函数在计算时引入所述语料的词频损失函数。由于本发明实施例在调整BiLSTM+CRF模型时充分考虑了所述语料的词频，并在训练得到的标注集中将正常词和稀有词进行区分，所以提高了稀有词语料的标注准确率，从而提高了中文分词的效果。 | ||
| 搜索关键词： | 标注 损失函数 中文分词 词频 训练集 语料库 语料 准确率 词语 引入 更新 | ||
【主权项】：
1.一种中文分词方法，其特征在于，包括：A、基于词频统计方式对训练集语料库中的语料进行区分，区分得到正常词和稀有词；B、采用基于长短期记忆条件随机场算法BiLSTM+CRF模型对训练集语料库中的语料训练，得到的标注集中包含了是正常词还是稀有词的标注；C、根据得到的语料标注集进行损失函数的计算，所述损失函数包括所述语料的词频损失函数；D、根据得到的损失函数对所述BiLSTM+CRF模型中的BiLSTM进行更新后，按照所述步骤B～C的过程继续执行，直到得到的中文分词结果满足设定的预期值。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于普天信息技术有限公司，未经普天信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201711141850.3/，转载请声明来源钻瓜专利网。
