[发明专利]用于分词的方法和装置有效
| 申请号： | 201811076566.7 | 申请日： | 2018-09-14 |
| 公开（公告）号： | CN109190124B | 公开（公告）日： | 2019-11-26 |
| 发明（设计）人： | 邓江东 | 申请（专利权）人： | 北京字节跳动网络技术有限公司 |
| 主分类号： | G06F17/27 | 分类号： | G06F17/27 |
| 代理公司： | 11204 北京英赛嘉华知识产权代理有限责任公司 | 代理人： | 王达佐;马晓亚<国际申请>=<国际公布> |
| 地址： | 100041 北京市石景山区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请实施例公开了用于分词的方法和装置。该方法的一具体实施方式包括：获取预设词汇集合和待分词文本，其中，预设词汇集合为基于预设文本集合预先生成的词汇集合，预设词汇集合中的词汇包括第一信息和第二信息；基于预设词汇集合，对待分词文本进行分词，获得至少一个词汇序列；对于至少一个词汇序列中的词汇序列，确定该词汇序列中的词汇的第一信息和第二信息，以及基于所确定的第一信息和第二信息，确定该词汇序列的概率，其中，对于词汇序列中的词汇，该词汇的第二信息为基于与该词汇相邻的词汇确定出的第二信息；从至少一个词汇序列中选取概率最大的词汇序列作为分词结果。该实施方式提高了分词的准确性。 | ||
| 搜索关键词： | 词汇序列 分词 词汇集合 词汇 预设 方法和装置 文本 分词结果 文本集合 预先生成 概率 申请 | ||
【主权项】：
1.一种用于分词的方法，包括：/n获取预设词汇集合和待分词文本，其中，预设词汇集合为基于预设文本集合预先生成的词汇集合，预设词汇集合中的词汇包括第一信息和第二信息，第一信息用于表征词汇在预设文本集合中出现的概率，对于预设词汇集合中的词汇，第二信息用于表征在预设文本集合中，以除该词汇以外的词汇出现作为条件，该词汇出现的条件概率；/n基于所述预设词汇集合，对所述待分词文本进行分词，获得至少一个词汇序列；/n对于所述至少一个词汇序列中的词汇序列，确定该词汇序列中的词汇的第一信息和第二信息，以及基于所确定的第一信息和第二信息，确定该词汇序列的概率，其中，对于词汇序列中的词汇，该词汇的第二信息为基于与该词汇相邻的词汇确定出的第二信息；/n从至少一个词汇序列中选取概率最大的词汇序列作为分词结果。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司，未经北京字节跳动网络技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811076566.7/，转载请声明来源钻瓜专利网。
- 上一篇：用于输出信息的方法和装置
- 下一篇：医学语言文本的处理方法、装置和存储介质
