[发明专利]语义融合和知识蒸馏的农业实体识别方法和装置

说明书

本发明提供一种语义融合和知识蒸馏的农业实体识别方法和装置，其中方法包括：确定待识别文本；将所述待识别文本输入至实体识别学生模型，得到所述实体识别学生模型输出的农业实体识别结果；其中，所述实体识别学生模型是对教师模型进行知识蒸馏得到的；所述教师模型是基于样本文本及其样本农业实体识别结果训练得到的；所述教师模型用于对所述样本文本进行多层次语义提取，得到语义融合信息编码，并基于语义融合信息编码，识别所述样本文本中的样本农业实体。本发明提高了农业实体识别的准确性。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种语义融合和知识蒸馏的农业实体识别方法和装置。

背景技术

随着农业互联网的发展与农业从业人员的新老更替，需要进行农业知识的快速传播和应用，以解决农业技术人员不足的问题。目前，农业知识服务主要由互联网搜索和人工专家来完成，人工专家问答存在效率低，受技术专家资源稀缺的限制。同时，互联网上大量的农业知识以非结构化文本的形式存在，大大影响了农业知识获取的效率。因此，自动化农业知识服务亟需自动化地组织互联网上的非结构化农业知识，使之成为结构化的农业知识图谱，通过农业知识图谱实现自动化农业问答。

农业信息抽取是实现农业知识服务的基础。命名实体识别是农业信息抽取的基础任务，命名实体识别是指识别出文本中的实体指称项及类别。基于农业实体识别可抽取文本中的关键信息，构建农业知识图谱，实现农业知识结构化。

现有的农业实体识别方法往往使用模板匹配或者基于传统机器学习的方法，这些方法存在误差累积和传递等问题，以及需要手工构造特征的问题。当前在通用领域，基于深度学习的实体识别方法成为了主流，但是需要大量的标注样本。而农业领域，实体识别标注数据稀缺，需要人工标注实体识别数据，因此农业实体识别往往很难应用基于深度学习的方法。

发明内容

本发明提供一种语义融合和知识蒸馏的农业实体识别方法和装置，用以解决现有技术中准确性不足的缺陷。

本发明提供一种基于语义融合和知识蒸馏的农业实体识别方法，包括：

确定待识别文本；

将所述待识别文本输入至实体识别学生模型，得到所述实体识别学生模型输出的农业实体识别结果；

其中，所述实体识别学生模型是对教师模型进行知识蒸馏得到的；所述教师模型是基于样本文本及其样本农业实体识别结果训练得到的；

所述教师模型用于对所述样本文本进行多层次语义提取，得到语义融合信息编码，并基于语义融合信息编码，识别所述样本文本中的样本农业实体。

根据本发明提供的一种基于语义融合和知识蒸馏的农业实体识别方法，所述对所述样本文本进行多层次语义提取，得到语义融合信息编码，具体包括：

基于所述教师模型的多个语义提取层，对所述样本文本进行语义提取，得到各个语义提取层输出的语义信息向量；

基于所述教师模型的注意力层，对各个语义提取层输出的语义信息向量进行注意力变换，得到各个语义提取层输出的语义信息向量的注意力权重；

基于各个语义提取层输出的语义信息向量及其注意力权重，确定所述语义融合信息编码。

根据本发明提供的一种基于语义融合和知识蒸馏的农业实体识别方法，所述基于语义融合信息编码，识别所述样本文本中的样本农业实体，具体包括：

基于所述教师模型的教师上下文语义提取层，对所述语义融合信息编码进行上下文语义信息提取，得到教师上下文语义特征；

基于所述教师模型的教师实体识别层，对所述教师上下文语义特征进行实体识别，得到教师实体识别结果。

根据本发明提供的一种基于语义融合和知识蒸馏的农业实体识别方法，所述对教师模型进行知识蒸馏，具体包括：