[发明专利]命名实体识别方法及装置有效
申请号: | 201510321448.8 | 申请日: | 2015-06-12 |
公开(公告)号: | CN104899304B | 公开(公告)日: | 2018-02-16 |
发明(设计)人: | 姜文 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06F17/27;G06N3/08 |
代理公司: | 中原信达知识产权代理有限责任公司11219 | 代理人: | 姜劲,陆锦华 |
地址: | 100080 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 命名 实体 识别 方法 装置 | ||
1.一种命名实体识别方法,其特征在于,包括:
获取向量库,所述向量库包括多个词分别对应的词向量,多类词性分别对应的词性向量,以及多类实体标记分别对应的实体标记向量;
将训练语料文本串分词得到顺序化的多个样本词;
按顺序地对于每个样本词查询所述向量库以构建第一特征向量,所述第一特征向量包含样本词对应的词向量、样本词对应的词性向量以及样本词前一词对应的实体标记向量;
将所有样本词对应的所述第一特征向量整体作为神经网络的训练输入量,利用神经网络BP算法进行网络参数求解,得到神经网络命名实体识别模型;
将待预测文本串分词得到顺序化的多个待测词;
按顺序地对于每个待测词查询所述向量库以构建第二特征向量,所述第二特征向量包含待测词对应的词向量、待测词对应的词性向量以及待测词前一词对应的实体标记向量;
将所述各个待测词对应的所述第二特征向量分别输入所述神经网络命名实体识别模型,输出所述待测词的实体标记。
2.根据权利要求1所述的方法,其特征在于,
所述第一特征向量中还包含:所述样本词邻近词对应的词向量以及所述样本词邻近词对应的词性向量,以及,
所述第二特征向量中还包含:所述待测词邻近词对应的词向量以及所述待测词邻近词对应的词性向量。
3.根据权利要求1所述的方法,其特征在于,
对于顺序化的多个样本词中的首个样本词构建所述第一特征向量时,所述首个样本词的前一词为预定字符串,以及,
对于顺序化的多个待测词中的首个待测词构建所述第二特征向量时,所述首个待测词的前一词为预定字符串。
4.根据权利要求1所述的方法,其特征在于,所述神经网络的训练输入量中还包括负例样本。
5.一种命名实体识别装置,其特征在于,包括:
向量库获取模块,用于获取向量库,所述向量库包括多个词分别对应的词向量,多类词性分别对应的词性向量,以及多类实体标记分别对应的实体标记向量;
第一分词模块,用于将训练语料文本串分词得到顺序化的多个样本词;
第一构建模块,用于按顺序地对于每个样本词查询所述向量库以构建第一特征向量,所述第一特征向量包含样本词对应的词向量、样本词对应的词性向量以及样本词前一词对应的实体标记向量;
训练模块,用于将所有样本词对应的所述第一特征向量整体作为神经网络的训练输入量,利用神经网络BP算法进行网络参数求解,得到神经网络命名实体识别模型;
第二分词模块,用于将待预测文本串分词得到顺序化的多个待测词;
第二构建模块,用于按顺序地对于每个待测词查询所述向量库以构建第二特征向量,所述第二特征向量包含待测词对应的词向量、待测词对应的词性向量以及待测词前一词对应的实体标记向量;
预测模块,用于将所述各个待测词对应的所述第二特征向量分别输入所述神经网络命名实体识别模型,输出所述待测词的实体标记。
6.根据权利要求5所述的装置,其特征在于,
所述第一特征向量中还包含:所述样本词邻近词对应的词向量以及所述样本词邻近词对应的词性向量,以及,
所述第二特征向量中还包含:所述待测词邻近词对应的词向量以及所述待测词邻近词对应的词性向量。
7.根据权利要求5所述的装置,其特征在于,
所述第一构建模块还用于:对于顺序化的多个样本词中的首个样本词构建所述第一特征向量时,使用预定字符串作为所述首个样本词的前一词,以及,
所述第二构建模块还用于:对于顺序化的多个待测词中的首个待测词构建所述第二特征向量时,使用预定字符串作为所述首个待测词的前一词。
8.根据权利要求5所述的装置,其特征在于,所述训练模块中,所述神经网络的训练输入量中还包括负例样本。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510321448.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种干燥卫生洗漱台
- 下一篇:分布式内容存储和取回