[发明专利]中文命名实体识别方法、装置及计算机可读存储介质在审
申请号: | 201910965462.X | 申请日: | 2019-10-10 |
公开(公告)号: | CN110909548A | 公开(公告)日: | 2020-03-24 |
发明(设计)人: | 邓悦;金戈;徐亮 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F40/30 | 分类号: | G06F40/30;G06F16/35 |
代理公司: | 深圳市沃德知识产权代理事务所(普通合伙) 44347 | 代理人: | 高杰;于志光 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 中文 命名 实体 识别 方法 装置 计算机 可读 存储 介质 | ||
1.一种中文命名实体识别方法,其特征在于,所述方法包括:
接收包含中文命名实体的原始文本集,将所述原始文本集进行去噪、去停用词及标注处理后得到标准文本集;
将所述标准文本集进行聚类操作得到类簇个数及聚类中心;
基于所述类簇个数及所述聚类中心,将所述标准文本集建立后验概率模型,优化所述后验概率模型得到标准词向量集;
将所述标准词向量集输入至预先构建的命名实体识别模型中训练得到训练后的命名实体识别模型;
接收用户输入的文本集,计算所述文本集得到词向量集,将所述词向量集输入至所述训练后的命名实体识别模型得到命名识别结果。
2.如权利要求1所述的中文命名实体识别方法,其特征在于,所述标注处理包括:
将所述原始文本集进行分词处理得到分词文本集;
根据预先设定的标注规则对所述分词文本集内的词语进行标注;
根据标注之后的所述分词文本集重新组建成文本集得到标准文本集。
3.如权利要求1或2所述的中文命名实体识别方法,其特征在于,所述聚类操作包括:
随机初始化k个初始类簇和所述k个初始类簇的聚类中心Centerk;
根据聚类更新方法对所述聚类中心Centerk进行训练得到训练值;
基于平方误差计算所述训练值的误差,若所述误差大于预设误差阈值则继续训练,若所述误差小于预设误差阈值则退出训练得到训练后的类簇个数及聚类中心。
4.如权利要求3所述的中文命名实体识别方法,其特征在于,所述聚类更新方法为:
其中,xi为所述标准文本集的数据,i为编号,Ck为所述标准文本集;
所述基于平方误差计算所述训练值的误差为:
其中,J为所述训练值的误差,K为所述标准文本集的文本数量,即所述初始类簇的取值在[1,K]之间,dist(xi,Centerk)表示计算所述标准文本集的数据xi与所述聚类中心Centerk的距离。
5.如权利要求1所述的中文命名实体识别方法,其特征在于,所述预先构建的命名实体识别模型包括句子组合层、连接层和分类层;及
所述将所述标准词向量集输入至预先构建的命名实体识别模型中训练得到训练后的命名实体识别模型,包括:
将所述标准词向量集输入至所述句子组合层进行句子组合概率求解得到最大概率的句子组合;
将所述最大概率的句子组合输入至所述连接层进行连接操作;
基于分类层对所述连接操作完成的句子进行命名实体识别得到识别结果集;
将所述识别结果集与所述标准文本集进行比对,直至比对的准确率大于预设准确率,所述命名实体识别模型退出训练得到训练后的命名实体识别模型。
6.一种中文命名实体识别装置,其特征在于,所述装置包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的中文命名实体识别程序,所述中文命名实体识别程序被所述处理器执行时实现如下步骤:
接收包含中文命名实体的原始文本集,将所述原始文本集进行去噪、去停用词及标注处理后得到标准文本集;
将所述标准文本集进行聚类操作得到类簇个数及聚类中心;
基于所述类簇个数及所述聚类中心,将所述标准文本集建立后验概率模型,优化所述后验概率模型得到标准词向量集;
将所述标准词向量集输入至预先构建的命名实体识别模型中训练得到训练后的命名实体识别模型;
接收用户输入的文本集,计算所述文本集得到词向量集,将所述词向量集输入至所述训练后的命名实体识别模型得到命名识别结果。
7.如权利要求6所述的中文命名实体识别装置,其特征在于,所述标注处理包括:
将所述原始文本集进行分词处理得到分词文本集;
根据预先设定的标注规则对所述分词文本集内的词语进行标注;
根据标注之后的所述分词文本集重新组建成文本集得到标准文本集。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910965462.X/1.html,转载请声明来源钻瓜专利网。