[发明专利]使用概念描述自动标注数据

权利要求书

1.一种用于使用概念描述自动标注数据的系统，所述系统包括电子处理器，电子处理器被配置为

从一个或多个自然语言文档生成未标注的训练数据示例；

对于多个类别中的每一个类别，

确定与所述类别的概念描述相关联的一个或多个概念；和

为所述一个或多个概念中的每一个生成弱注释器；以及

将每个弱注释器应用于每个训练数据示例，并且当训练数据示例满足弱注释器时，输出与弱注释器相关联的类别；

对于每个训练数据示例，确定所述多个类别的概率分布，对于所述多个类别中的每一个类别，概率分布表示所述类别是针对训练数据示例的正确标注的可能性；以及

对于每个训练数据示例，用在为训练数据示例确定的概率分布中具有最高值的类别来标注训练数据示例。

2.根据权利要求1所述的系统，其中电子处理器进一步被配置为基于与训练数据示例相关联的概率分布来选择训练数据示例，以用于训练机器学习系统。

3.根据权利要求2所述的系统，其中电子处理器进一步被配置为当为训练数据示例确定的概率分布中包括的值在预定阈值以上时，选择训练数据示例以用于训练机器学习系统。

4.根据权利要求1所述的系统，其中电子处理器进一步被配置为通过以下方式产生处于能够从一个或多个自然语言文档中提取训练数据示例的状态下的所述一个或多个自然语言文档

从自然语言文档中提取文本；

对提取的文本进行令牌化；

将文本分成语句；

用词性标签来注释每个令牌；以及

注释单词对的依赖关系。

5.根据权利要求1所述的系统，其中电子处理器被配置为将每个弱注释器应用于每个训练数据示例，并且当训练数据示例满足弱注释器时，通过以下方式输出与弱注释器相关联的类别

当训练数据示例包含作为概念实例的术语时，输出与针对训练数据示例的概念相关联的类别。

6.根据权利要求1所述的系统，其中电子处理器被配置为将每个弱注释器应用于每个训练数据示例，并且当训练数据示例满足弱注释器时，通过以下方式输出与弱注释器相关联的类别

使用单词嵌入来计算与弱注释器相关联的概念和训练数据示例之间的相似度；以及

基于所计算的相似度，确定是否输出针对训练数据示例的类别。

7.根据权利要求1所述的系统，其中训练数据示例是包括自然语言语句的词性的元组。

8.根据权利要求1所述的系统，其中电子处理器进一步被配置为

使用标注的训练示例训练机器学习系统；以及

执行经训练的机器学习系统来对自然语言段落进行分类别。

9.根据权利要求1所述的系统，其中电子处理器进一步被配置为从所述一个或多个概念中移除有噪概念。

10.一种用于使用概念描述自动标注数据的方法，所述方法包括：

用电子处理器从一个或多个自然语言文档生成未标注的训练数据示例，

对于多个类别中的每一个类别，

确定与所述类别的概念描述相关联的一个或多个概念；和

为所述一个或多个概念中的每一个生成弱注释器；以及

将每个弱注释器应用于每个训练数据示例，并且当训练数据示例满足弱注释器时，输出与弱注释器相关联的类别；

对于每个训练数据示例，确定所述多个类别的概率分布，对于所述多个类别中的每一个类别，概率分布表示所述类别是针对训练数据示例的正确标注的可能性；以及

对于每个训练数据示例，用在为训练数据示例确定的概率分布中具有最高值的类别来标注训练数据示例。

11.根据权利要求10所述的方法，所述方法进一步包括基于与训练数据示例相关联的概率分布来选择训练数据示例，以用于训练机器学习系统。