[发明专利]命名实体识别方法、装置及存储介质

说明书

本公开是关于一种命名实体识别方法、装置及存储介质。在该命名实体识别方法中，对训练语料中每一字符进行初始化，并通过双向卷积网络和注意力机制，对训练语料中随机初始化后的字符进行转换，得到所述训练语料中每个字符的字符向量表征；确定训练语料中每一句子的词向量表征；将所述词向量表征和所述字符向量表征进行拼接，生成第一向量表征；通过双向卷积网络对第一向量表征进行特征增强，并通过注意力机制对特征增强后的向量表征进行转换，得到第二向量表征；基于所述第二向量表征，进行命名实体的识别。通过本公开提高泛化能力，提高命名实体识别的识别能力。

技术领域

本公开涉及自然语言处理领域，尤其涉及一种命名实体识别方法、装置及存储介质。

背景技术

命名实体识别(Named Entity Recognition，NER)是自然语言处理(NaturalLanguage Processing，NLP)领域研究的热点，也是NLP领域一项非常重要的基础工作。命名实体识别的目标是从自然语言中抽取出人名、地名、机构名等实体。

相关技术中，依靠规则并基于词典的方法进行命名实体识别，或者基于机器学习的方法进行命名实体识别。依靠规则并基于词典的方法，泛化能力比较差，迁移能力较差，并且需要大量的专家介入参与，成本较高。机器学习方法，利用一些人工提取的特征，采用隐马尔科夫、最大熵以及条件随机场等模型，对特征进行建模，也是需要大量的人工特征。

为此，引入了基于深度学习的方法，进行命名实体识别。基于深度学习的方法可以自动学习到更高层次的特征，从而减少人工构建对技术要求以及标注本身带来的主观性，从而减少成本以及获取更有效的特征。但是目前基于深度学习方法进行命名实体识别的方式仍存在有效特征信息捕获能力差，泛化能力差，识别能力较弱的情形，有待进一步完善。

发明内容

为克服相关技术中存在的问题，本公开提供一种命名实体识别方法、装置及存储介质。

根据本公开实施例的第一方面，提供一种命名实体识别方法，包括：

对训练语料中每一字符进行初始化，并通过双向卷积网络和注意力机制，对训练语料中随机初始化后的字符进行转换，得到所述训练语料中每个字符的字符向量表征；确定训练语料中每一句子的词向量表征；将所述词向量表征和所述字符向量表征进行拼接，生成第一向量表征；通过双向卷积网络对第一向量表征进行特征增强，并通过注意力机制对特征增强后的向量表征进行转换，得到第二向量表征；基于所述第二向量表征，进行命名实体的识别。

一示例中，将生成的所述第一向量表征通过双向卷积网络进行特征增强之前，所述方法还包括：对生成的第一向量表征进行随机失活处理。

通过双向卷积网络对第一向量表征进行特征增强，包括：通过双向卷积网络对随机失活处理后剩余的第一向量表征进行特征增强。

另一示例中，对训练语料中每一字符进行初始化包括：对训练语料中每一字符随机生成符合高斯分布的高斯分布向量值；

通过双向卷积网络和注意力机制，对训练语料中随机初始化后的字符进行转换，得到所述训练语料中每个字符的字符向量表征，包括：

将所述高斯分布向量值输入至双向卷积，并对从左往右以及从右往左分别产生的输出向量值进行连接操作，得到隐藏层输出向量；通过注意力机制对所述隐藏层输出向量进行转换得到字符向量表征。

又一示例中，通过注意力机制对所述隐藏层输出向量进行转换得到字符向量表征，包括：

根据预期命名实体词语的最大长度预设sigmoid激活函数中注意力窗口大小；利用具有所述注意力窗口大小的sigmoid激活函数对所述隐藏层输出向量进行转换得到字符向量表征。

又一示例中，确定训练语料中每一句子的词向量表征，包括：