[发明专利]短文本实体识别方法和系统

说明书

本公开提供了一种短文本实体识别方法，包括：获取短文本并对该短文本进行分词；对经分词的短文本进行词向量训练，以生成词向量序列；基于对抗性框架对该词向量序列中的各个词向量进行词性表征学习，以获取该词向量的词性特征；提取该词向量序列中的各个词向量的局部上下文特征以及各个词向量之间的全局语义特征；以及使用词性特征、局部上下文特征和全局语义特征识别实体。

技术领域

本公开主要涉及实体识别，尤其涉及针对自由文本的实体识别。

背景技术

从文本中提取信息的任务有非常广泛的应用场景。命名实体识别更是自然语言处理中的基础任务，是关系抽取、事件抽取、知识图谱、信息提取、问答系统、句法分析、机器翻译等诸多自然语言处理任务的基础。

然而，面对不同的文本，实体识别的难易程度不同。对于短文本，由于语义模糊以及上下文信息的缺失，常规的实体识别模型难易得到精准效果。更进一步地，由于短文本中数据的稀疏性，使得常用模型的应用效果下降很多。

因此，本领域需要一种高效的短文本实体识别方案，以针对短文本实现精准的实体识别。

发明内容

为解决上述技术问题，本公开提供了一种高效的短文本实体识别方案。

在本公开一实施例中，提供了一种短文本实体识别方法，包括：获取短文本并对该短文本进行分词；对经分词的短文本进行词向量训练，以生成词向量序列；基于对抗性框架对该词向量序列中的各个词向量进行词性表征学习，以获取该词向量的词性特征；提取该词向量序列中的各个词向量的局部上下文特征以及各个词向量之间的全局语义特征；以及使用词性特征、局部上下文特征和全局语义特征识别实体。

在本公开另一实施例中，使用词性特征、局部上下文特征和全局语义特征识别实体进一步包括：使用词性特征将该词向量序列中的词向量进行降维筛选；以及基于局部上下文特征和全局语义特征从降维筛选后得到的词向量中识别实体。

在本公开又一实施例中，对所识别的实体进行模糊实体匹配。

在本公开另一实施例中，对短文本进行分词的方式根据短文本的语言和类型来选择。

在本公开又一实施例中，使用词性特征、局部上下文特征和全局语义特征从各个词向量识别实体在对抗性训练框架上实现。

在本公开另一实施例中，提取局部上下文特征和全局语义特征通过Attention机制来实现。

在本公开一实施例中，提供了一种短文本实体识别系统，包括：分词模块，获取短文本并对短文本进行分词；词向量生成模块，对经分词的短文本进行词向量训练，以生成词向量序列；特征获取模块，基于对抗性框架对词向量序列中的各个词向量进行词性表征学习以获取词向量的词性特征，并且提取词向量序列中的各个词向量的局部上下文特征以及各个词向量之间的全局语义特征；以及实体识别模块，使用词性特征、局部上下文特征和全局语义特征从各个词向量识别实体；

在本公开另一实施例中，实体识别模块使用词性特征、局部上下文特征和全局语义特征识别实体进一步包括：使用词性特征将词向量序列中的词向量进行降维筛选；以及基于局部上下文特征和全局语义特征从降维筛选后得到的词向量中识别实体。

在本公开又一实施例中，该短文本实体识别系统进一步包括模糊实体匹配模块，其对所识别的实体进行模糊实体匹配。

在本公开另一实施例中，分词模块对短文本进行分词的方式根据短文本的语言和类型来选择。

在本公开又一实施例中，实体识别模块使用词性特征、局部上下文特征和全局语义特征从各个词向量识别实体在对抗性训练框架上实现。

在本公开另一实施例中，特征获取模块提取局部上下文特征和全局语义特征通过Attention机制来实现。