[发明专利]命名实体识别方法及装置

说明书

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种命名实体识别方法及装置。

背景技术

随着互联网技术的快速发展，信息服务变得越来越普及。其中，命名实体的识别是信息提取、问答系统、句法分析、机器翻译、面向互联网的元数据标注等信息服务应用领域的重要基础工作。命名实体(简称实体)，指的是人名、机构名、地名以及其他所有以名称为标识的实体，更广泛的命名实体还包括数字、日期、货币、地址等。

现有技术中已经有了采用神经网络技术训练命名实体识别的技术。现有的方法至少具有如下几个缺点：(1)主要依靠词本身作为输入特征，模型特征单一，并未直接引入实体标记之间的前后依赖关系，导致识别的准确率不高，特别是在识别电商领域的命名实体时经常识别不准；(2)由于网络的初始值是随机生成的，最终的参数优化结果很可能不够好，训练时间较长导致开发效率低下；(3)未充分考虑训练数据的分布情况导致模型对实体的拟合程度不均匀。

电商领域的命名实体，比如商品名(诺基亚1020、ThinkPad E431 14英寸笔记本电脑)、价格、商品属性等，这些命名实体通常由句子中一个或多个连续的词组成，词性通常为“名词+数词”等形式。总之，电商领域的命名实体具有鲜明的特点，目前亟需针对电商领域的命名实体开发出识别方法或识别装置。

发明内容

有鉴于此，本发明提供一种命名实体识别方法及装置，能够准确地识别出命名实体，特别是电商领域的命名实体。

为实现上述目的，根据本发明的一个方面，提供了一种命名实体识别方法，包括：获取向量库，所述向量库包括多个词分别对应的词向量，多类词性分别对应的词性向量，以及多类实体标记分别对应的实体标记向量；将训练语料文本串分词得到顺序化的多个样本词；按顺序地对于每个样本词查询所述向量库以构建第一特征向量，所述第一特征向量包含样本词对应的词向量、样本词对应的词性向量以及样本词前一词对应的实体标记向量；将所有样本词对应的所述第一特征向量整体作为神经网络的训练输入量，利用神经网络BP算法进行网络参数求解，得到神经网络命名实体识别模型；将待预测文本串分词得到顺序化的多个待测词；按顺序地对于每个待测词查询所述向量库以构建第二特征向量，所述第二特征向量包含待测词对应的词向量、待测词对应的词性向量以及待测词前一词对应的实体标记向量；将所述各个待测词对应的所述第二特征向量分别输入所述神经网络命名实体识别模型，输出所述待测词的实体标记。

可选地，所述第一特征向量中还包含：所述样本词邻近词对应的词向量以及所述样本词邻近词对应的词性向量，以及，所述第二特征向量中还包含：所述待测词邻近词对应的词向量以及所述待测词邻近词对应的词性向量。

可选地，对于顺序化的多个样本词中的首个样本词构建所述第一特征向量时，所述首个样本词的前一词为预定字符串，以及，对于顺序化的多个待测词中的首个待测词构建所述第二特征向量时，所述首个待测词的前一词为预定字符串。

可选地，所述神经网络的训练输入量中还包括负例样本。

为实现上述目的，根据本发明的另一方面，提供了一种命名实体识别装置，包括：向量库获取模块，用于获取向量库，所述向量库包括多个词分别对应的词向量，多类词性分别对应的词性向量，以及多类实体标记分别对应的实体标记向量；第一分词模块，用于将训练语料文本串分词得到顺序化的多个样本词；第一构建模块，用于按顺序地对于每个样本词查询所述向量库以构建第一特征向量，所述第一特征向量包含样本词对应的词向量、样本词对应的词性向量以及样本词前一词对应的实体标记向量；训练模块，用于将所有样本词对应的所述第一特征向量整体作为神经网络的训练输入量，利用神经网络BP算法进行网络参数求解，得到神经网络命名实体识别模型；第二分词模块，用于将待预测文本串分词得到顺序化的多个待测词；第二构建模块，用于按顺序地对于每个待测词查询所述向量库以构建第二特征向量，所述第二特征向量包含待测词对应的词向量、待测词对应的词性向量以及待测词前一词对应的实体标记向量；预测模块，用于将所述各个待测词对应的所述第二特征向量分别输入所述神经网络命名实体识别模型，输出所述待测词的实体标记。

可选地，所述第一特征向量中还包含：所述样本词邻近词对应的词向量以及所述样本词邻近词对应的词性向量，以及，所述第二特征向量中还包含：所述待测词邻近词对应的词向量以及所述待测词邻近词对应的词性向量。