[发明专利]命名实体识别方法、装置及存储介质在审

专利信息
申请号: 201910878202.9 申请日: 2019-09-17
公开(公告)号: CN110633470A 公开(公告)日: 2019-12-31
发明(设计)人: 齐保元;孟二利;王斌 申请(专利权)人: 北京小米智能科技有限公司
主分类号: G06F17/27 分类号: G06F17/27
代理公司: 11722 北京钲霖知识产权代理有限公司 代理人: 冯志云;李英艳
地址: 100085 北京市海淀区清河*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 向量 命名实体 训练语料 注意力机制 特征增强 字符向量 词向量 卷积 随机初始化 存储介质 初始化 转换 拼接 句子 网络
【权利要求书】:

1.一种命名实体识别方法,其特征在于,包括:

对训练语料中每一字符进行初始化,并通过双向卷积网络和注意力机制,对训练语料中随机初始化后的字符进行转换,得到所述训练语料中每个字符的字符向量表征;

确定训练语料中每一句子的词向量表征;

将所述词向量表征和所述字符向量表征进行拼接,生成第一向量表征;

通过双向卷积网络和注意力机制对所述第一向量表征进行转换,得到第二向量表征;

基于所述第二向量表征,进行命名实体的识别。

2.根据权利要求1所述的命名实体识别方法,其特征在于,通过双向卷积网络和注意力机制对所述第一向量表征进行转换,得到第二向量表征之前,所述方法还包括:

对生成的第一向量表征进行随机失活处理;

通过双向卷积网络和注意力机制对所述第一向量表征进行转换,得到第二向量表征,包括:

通过双向卷积网络对随机失活处理后剩余的第一向量表征进行特征增强,并通过注意力机制对特征增强后的第一向量表征进行转换,得到第二向量表征。

3.根据权利要求1或2所述的命名实体识别方法,其特征在于,所述对训练语料中每一字符进行初始化,包括:对训练语料中每一字符随机生成符合高斯分布的高斯分布向量值;

通过双向卷积网络和注意力机制,对训练语料中随机初始化后的字符进行转换,得到所述训练语料中每个字符的字符向量表征,包括:

将所述高斯分布向量值输入至双向卷积,并对从左往右以及从右往左分别产生的输出向量值进行连接操作,得到隐藏层输出向量;

通过注意力机制对所述隐藏层输出向量进行转换得到字符向量表征。

4.根据权利要求3所述的命名实体识别方法,其特征在于,通过注意力机制对所述隐藏层输出向量进行转换得到字符向量表征,包括:

根据预期命名实体词语的最大长度预设sigmoid激活函数中注意力窗口大小;

利用具有所述注意力窗口大小的sigmoid激活函数对所述隐藏层输出向量进行转换得到字符向量表征。

5.根据权利要求1或2所述的命名实体识别方法,其特征在于,确定训练语料中每一句子的词向量表征,包括:

使用分词工具对所述训练语料中的句子进行分词,其中,所述分词工具中导入有符合所述分词工具设定形式的词典;

使用词嵌入文件或者随机初始化方式,将分词结果转化为词向量表征。

6.根据权利要求1所述的命名实体识别方法,其特征在于,所述基于所述第二向量表征,进行命名实体的识别,包括:

通过条件随机场CRF模型或者软件最大化SOFT-MAX模型,对所述第二向量进行预测并识别出命名实体信息。

7.一种命名实体识别装置,其特征在于,包括:

训练单元,被配置为对训练语料中每一字符进行初始化,并通过双向卷积网络和注意力机制,对训练语料中随机初始化后的字符进行转换,得到所述训练语料中每个字符的字符向量表征;确定训练语料中每一句子的词向量表征;将所述词向量表征和所述字符向量表征进行拼接,生成第一向量表征;通过双向卷积网络对第一向量表征进行特征增强,并通过注意力机制对特征增强后的向量表征进行转换,得到第二向量表征;

识别单元,被配置为基于所述第二向量表征,进行命名实体的识别。

8.根据权利要求7所述的命名实体识别装置,其特征在于,所述训练单元,还被配置为:将生成的所述第一向量表征通过双向卷积网络进行特征增强之前,对生成的第一向量表征进行随机失活处理;

所述训练单元被配置为采用如下方式通过双向卷积网络对第一向量表征进行特征增强:

通过双向卷积网络对随机失活处理后剩余的第一向量表征进行特征增强。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京小米智能科技有限公司,未经北京小米智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910878202.9/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top