[发明专利]命名实体识别方法、装置及存储介质在审
申请号: | 201910878202.9 | 申请日: | 2019-09-17 |
公开(公告)号: | CN110633470A | 公开(公告)日: | 2019-12-31 |
发明(设计)人: | 齐保元;孟二利;王斌 | 申请(专利权)人: | 北京小米智能科技有限公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27 |
代理公司: | 11722 北京钲霖知识产权代理有限公司 | 代理人: | 冯志云;李英艳 |
地址: | 100085 北京市海淀区清河*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 向量 命名实体 训练语料 注意力机制 特征增强 字符向量 词向量 卷积 随机初始化 存储介质 初始化 转换 拼接 句子 网络 | ||
1.一种命名实体识别方法,其特征在于,包括:
对训练语料中每一字符进行初始化,并通过双向卷积网络和注意力机制,对训练语料中随机初始化后的字符进行转换,得到所述训练语料中每个字符的字符向量表征;
确定训练语料中每一句子的词向量表征;
将所述词向量表征和所述字符向量表征进行拼接,生成第一向量表征;
通过双向卷积网络和注意力机制对所述第一向量表征进行转换,得到第二向量表征;
基于所述第二向量表征,进行命名实体的识别。
2.根据权利要求1所述的命名实体识别方法,其特征在于,通过双向卷积网络和注意力机制对所述第一向量表征进行转换,得到第二向量表征之前,所述方法还包括:
对生成的第一向量表征进行随机失活处理;
通过双向卷积网络和注意力机制对所述第一向量表征进行转换,得到第二向量表征,包括:
通过双向卷积网络对随机失活处理后剩余的第一向量表征进行特征增强,并通过注意力机制对特征增强后的第一向量表征进行转换,得到第二向量表征。
3.根据权利要求1或2所述的命名实体识别方法,其特征在于,所述对训练语料中每一字符进行初始化,包括:对训练语料中每一字符随机生成符合高斯分布的高斯分布向量值;
通过双向卷积网络和注意力机制,对训练语料中随机初始化后的字符进行转换,得到所述训练语料中每个字符的字符向量表征,包括:
将所述高斯分布向量值输入至双向卷积,并对从左往右以及从右往左分别产生的输出向量值进行连接操作,得到隐藏层输出向量;
通过注意力机制对所述隐藏层输出向量进行转换得到字符向量表征。
4.根据权利要求3所述的命名实体识别方法,其特征在于,通过注意力机制对所述隐藏层输出向量进行转换得到字符向量表征,包括:
根据预期命名实体词语的最大长度预设sigmoid激活函数中注意力窗口大小;
利用具有所述注意力窗口大小的sigmoid激活函数对所述隐藏层输出向量进行转换得到字符向量表征。
5.根据权利要求1或2所述的命名实体识别方法,其特征在于,确定训练语料中每一句子的词向量表征,包括:
使用分词工具对所述训练语料中的句子进行分词,其中,所述分词工具中导入有符合所述分词工具设定形式的词典;
使用词嵌入文件或者随机初始化方式,将分词结果转化为词向量表征。
6.根据权利要求1所述的命名实体识别方法,其特征在于,所述基于所述第二向量表征,进行命名实体的识别,包括:
通过条件随机场CRF模型或者软件最大化SOFT-MAX模型,对所述第二向量进行预测并识别出命名实体信息。
7.一种命名实体识别装置,其特征在于,包括:
训练单元,被配置为对训练语料中每一字符进行初始化,并通过双向卷积网络和注意力机制,对训练语料中随机初始化后的字符进行转换,得到所述训练语料中每个字符的字符向量表征;确定训练语料中每一句子的词向量表征;将所述词向量表征和所述字符向量表征进行拼接,生成第一向量表征;通过双向卷积网络对第一向量表征进行特征增强,并通过注意力机制对特征增强后的向量表征进行转换,得到第二向量表征;
识别单元,被配置为基于所述第二向量表征,进行命名实体的识别。
8.根据权利要求7所述的命名实体识别装置,其特征在于,所述训练单元,还被配置为:将生成的所述第一向量表征通过双向卷积网络进行特征增强之前,对生成的第一向量表征进行随机失活处理;
所述训练单元被配置为采用如下方式通过双向卷积网络对第一向量表征进行特征增强:
通过双向卷积网络对随机失活处理后剩余的第一向量表征进行特征增强。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京小米智能科技有限公司,未经北京小米智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910878202.9/1.html,转载请声明来源钻瓜专利网。