[发明专利]一种基于机器学习的数据标注方法和装置以及设备

说明书

本发明公开了一种基于机器学习的数据标注方法和装置以及设备。其中，所述方法包括：通过机器学习方式，从相同的原文对话中，对不同类别的数据进行分别标注，和对该分别标注的不同类别的数据进行关联，以及对该经关联后的不同类别的标注数据进行联合学习。通过上述方式，能够实现兼容多种类别的标注数据的联合学习。

技术领域

本发明涉及数据标注技术领域，尤其涉及一种基于机器学习的数据标注方法和装置以及设备。

背景技术

目前，机器学习在处理自然语言时，需要标注大量不同类别的数据。例如，机器学习在处理整形美容科室的自然语言时，需要标注的数据一般包括意图识别数据、NER(NamedEntity Recognition，命名实体识别)数据和项目对齐数据等；其中，该项目对齐数据在不同的美容医院对相同项目的叫法可以不同，例如微创双眼皮、小清新双眼皮和三定位双眼皮等都是表示双眼皮项目对齐数据。

另外，在机器学习中，还有一项数据叫联合学习数据，该联合学习数据意思是说多种类别数据联合起来标注，例如将意图识别数据和命名实体识别数据联合起来标注。

然而，现有的基于机器学习的数据标注方案，一般只标注所需要的相同类别的数据，例如需要意图识别数据时只标注该意图识别数据，需要命名实体识别数据时只标注该命名实体识别数据，但是这些标注的相同类别的数据在原文对话没有关联在一起，无法实现兼容多种类别的标注数据的联合学习。

发明内容

有鉴于此，本发明的目的在于提出一种基于机器学习的数据标注方法和装置以及设备，能够实现兼容多种类别的标注数据的联合学习。

根据本发明的一个方面，提供一种基于机器学习的数据标注方法，包括：通过机器学习方式，从相同的原文对话中，对不同类别的数据进行分别标注；对所述分别标注的不同类别的数据进行关联；对所述经关联后的不同类别的标注数据进行联合学习。

其中，所述对所述分别标注的不同类别的数据进行关联，还包括：采用对来源于相同出处的对话的不同类别的标注数据记录相同标记的方式，对所述分别标注的不同类别的数据进行关联。

其中，在所述对所述经关联后的不同类别的标注数据进行联合学习之后，还包括：抽取所述经联合学习后的不同类别的标注数据，根据所述抽取的标注数据，对所述标注数据进行优化。

其中，所述抽取所述经联合学习后的不同类别的标注数据，根据所述抽取的标注数据，对所述标注数据进行优化，包括：采用将数据量按从大到小顺序的抽取方式，抽取所述经联合学习后的不同类别的标注数据，根据所述抽取的标注数据，对所述标注数据进行优化。

根据本发明的另一个方面，提供一种基于机器学习的数据标注装置，包括：标注模块、关联模块和学习模块；所述标注模块，用于通过机器学习方式，从相同的原文对话中，对不同类别的数据进行分别标注；所述关联模块，用于对所述分别标注的不同类别的数据进行关联；所述学习模块，用于对所述经关联后的不同类别的标注数据进行联合学习。

其中，所述关联模块，具体用于：采用对来源于相同出处的对话的不同类别的标注数据记录相同标记的方式，对所述分别标注的不同类别的数据进行关联。

其中，所述基于机器学习的数据标注装置，还包括：优化模块；所述优化模块，用于抽取所述经联合学习后的不同类别的标注数据，根据所述抽取的标注数据，对所述标注数据进行优化。

其中，所述优化模块，具体用于：采用将数据量按从大到小顺序的抽取方式，抽取所述经联合学习后的不同类别的标注数据，根据所述抽取的标注数据，对所述标注数据进行优化。