[发明专利]命名实体识别方法及装置

说明书

技术领域

本申请涉及计算机技术领域，尤其涉及命名实体识别方法及装置。

背景技术

自然语言处理(Natural Language Processing，NLP)是计算机科学、人工智能、语言学所关注的计算机和人类语言之间相互作用的领域，是计算机科学领域与人工智能领域中的一个重要方向。NLP研究范畴涵盖能够实现人与计算机之间用自然语言进行有效通信的各种理论和方法，涉及到的领域包括自然语义理解、检索、信息抽取、机器翻译、自动问答系统等。

作为NLP中的一项基本任务，命名实体识别(Named Entity Recognition，NER)是指从文本中识别出具有特定类别的实体例如人名、地名、机构名、专有名词等的技术。NER是信息检索、查询分类、问答系统、句法分析、机器翻译等应用领域的重要基础工具，其识别效果直接影响前述应用领域的后续处理效果。因此，提供一种识别效果较好的命名识别技术，已成为本领域技术人员亟待解决的技术问题。

发明内容

本申请实施例的目的是提供一种命名实体识别方法及装置，以达到较好的命名实体识别效果。

为达到上述技术目的，本申请实施例是这样实现的：

根据本申请实施例的第一方面，提供一种命名实体识别方法，所述方法包括：

获取输入序列；

对所述输入序列中的字符进行向量化处理，得到所述输入序列对应的字符向量序列；

使用神经网络算法处理所述字符向量序列，得到所述输入序列的文本特征序列；

使用条件随机场处理所述文本特征序列，得到所述输入序列对应的命名实体识别结果。

在本申请的一个实施例中，所述使用神经网络算法处理所述字符向量序列，得到所述输入序列的文本特征序列，包括：

使用双向长短期记忆神经网络处理所述字符向量序列，得到所述输入序列的文本特征序列。

在本申请的一个实施例中，所述对所述输入序列中的字符进行向量化处理，得到所述输入序列对应的字符向量序列，包括：

获取字符-向量映射字典，其中，所述字符-向量映射字典中记录有字符与向量的对应关系；

从所述字符-向量映射字典中查找所述输入序列中的字符所对应的向量；

使用注意力机制处理所述输入序列中的字符所对应的向量，得到各向量对应的权重值；

将所述输入序列中的字符所对应的向量与该向量对应的权重值进行点乘运算，得到所述输入序列对应的字符向量序列。

在本申请的一个实施例中，所述字符-向量映射字典的生成过程，包括：

获取训练语料；

以字符为单位，对所述训练语料进行拆分，得到拆分结果；

对所述拆分结果进行下述至少一项预处理：过滤垃圾字符、过滤停用字符、过滤低频字符和过滤无意义符号，得到预处理结果；

使用word2vec算法训练所述预处理结果，得到获取字符-向量映射字典。

在本申请的一个实施例中，所述使用word2vec算法训练所述预处理结果，得到获取字符-向量映射字典，包括：

利用skip-gram模型训练所述预处理结果，得到获取字符-向量映射字典。

根据本申请实施例的第二方面，提供一种命名实体识别装置，所述装置包括：

获取单元，用于获取输入序列；

第一处理单元，用于对所述输入序列中的字符进行向量化处理，得到所述输入序列对应的字符向量序列；

第二处理单元，用于使用神经网络算法处理所述字符向量序列，得到所述输入序列的文本特征序列；

第三处理单元，用于使用条件随机场处理所述文本特征序列，得到所述输入序列对应的命名实体识别结果。

在本申请的一个实施例中，所述第二处理单元，包括：

字符向量序列处理子单元，用于使用双向长短期记忆神经网络处理所述字符向量序列，得到所述输入序列的文本特征序列。

在本申请的一个实施例中，所述第一处理单元，包括：

映射字典获取子单元，用于获取字符-向量映射字典，其中，所述字符-向量映射字典中记录有字符与向量的对应关系；

查找子单元，用于从所述字符-向量映射字典中查找所述输入序列中的字符所对应的向量；

注意力机制处理子单元，用于使用注意力机制处理所述输入序列中的字符所对应的向量，得到各向量对应的权重值；

字符向量序列获得子单元，用于将所述输入序列中的字符所对应的向量与该向量对应的权重值进行点乘运算，得到所述输入序列对应的字符向量序列。