[发明专利]一种中文文本分词的方法、装置、存储介质及电子设备在审
申请号: | 201910650446.1 | 申请日: | 2019-07-18 |
公开(公告)号: | CN110348023A | 公开(公告)日: | 2019-10-18 |
发明(设计)人: | 李晓雅 | 申请(专利权)人: | 北京香侬慧语科技有限责任公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 丁曼曼 |
地址: | 100080 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提供了一种中文文本分词的方法、装置、存储介质及电子设备,其中,该方法包括:获取中文的目标文本,并确定目标文本中的目标字;确定目标字在不同字体下的字图像,并生成目标字的字图像集合;对目标字的字图像集合进行编码处理,生成目标字的字向量;根据目标文本所有的字向量进行序列标注处理,基于序列标注处理结果确定目标文本的分词。通过本发明实施例提供的中文文本分词的方法、装置、存储介质及电子设备,通过包含多个字图像的字图像集合生成目标字的字向量,可以更加综合、全面地确定每个目标字所包含的字形特征;基于该字向量进行分词处理,可以更加有效地识别未登录词,且可以降低中文词边界的模糊性。 | ||
搜索关键词: | 目标字 字图像 目标文本 分词 向量 存储介质 电子设备 中文文本 序列标注 集合 编码处理 分词处理 集合生成 字形特征 模糊性 有效地 中文 字体 登录 | ||
【主权项】:
1.一种中文文本分词的方法,其特征在于,包括:获取中文的目标文本,并确定所述目标文本中的目标字;确定所述目标字在不同字体下的字图像,并生成所述目标字的字图像集合,所述字图像集合包含所述目标字的多个字图像;对所述目标字的所述字图像集合进行编码处理,生成所述目标字的字向量;根据所述目标文本所有的所述字向量进行序列标注处理,基于序列标注处理结果确定所述目标文本的分词。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京香侬慧语科技有限责任公司,未经北京香侬慧语科技有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201910650446.1/,转载请声明来源钻瓜专利网。