[发明专利]一种语料生成、模型训练方法

说明书

本发明实施例提供了一种语料生成、模型训练方法，涉及人工智能技术领域，上述方法包括：获得属于每一目标语料类别的已有样本语料的已有数量，针对每一目标语料类别，以基线样本数量为基准，根据属于该目标语料类别的已有样本语料中包含的词槽对已有样本语料进行调整，生成新样本语料，使得所生成的新样本语料的数量与该目标语料类别对应的已有样本语料的数量之和达到基线样本数量。应用本发明实施例提供的方案生成语料，可以使得属于各个目标语料类别的已有样本语料与新样本语料的数量之和均衡。进而使得训练得到的分类模型对语料进行分类的准确度在不同语料类别间的差异较小。

技术领域

本发明涉及人工智能技术领域，特别是涉及一种语料生成、模型训练方法。

背景技术

当前应用人机交互的场景越来越多，例如，用户可以通过文本、语音等语料与电子设备进行交互，从而获得电子设备提供的服务。基于上述情况，电子设备需要对用户的语料进行分类，从而按照分类结果为用户提供服务。

例如，对语料进行分类可以是识别语料所表示的用户意图，如，用户期望听音乐、购物等；还可以是确定语料表示的用户情绪，如，兴奋、愤怒等。

现有技术中，一般使用基于神经网络的分类模型对语料进行分类，为此需要预先收集样本语料进行模型训练，得到上述分类模型。为了使得上述分类模型能够准确的对属于各种语料类别的语料进行分类，需要针对不同语料类别收集样本语料，然而对于不同的语料类别而言，能够收集到的样本语料数量往往不同，这样训练得到的分类模型对语料进行分类的准确度在不同语料类别间存在较大的差异。

发明内容

本发明实施例的目的在于提供一种语料生成、模型训练方法，以使得训练得到的分类模型对语料进行分类的准确度在不同语料类别间的差异较小。

具体技术方案如下：

第一方面，本发明实施例提供了一种语料生成方法，所述方法包括：

获得属于每一目标语料类别的已有样本语料的已有数量，其中，所述已有样本语料为：用于训练适用于目标应用场景、且用于对语料进行分类的分类模型的已有语料，所述目标语料类别为：与所述分类模型的分类结果相匹配的、针对所述目标应用场景设置的语料类别；

针对每一目标语料类别，以基线样本数量为基准，根据属于该目标语料类别的已有样本语料中包含的词槽对已有样本语料进行调整，生成新样本语料，使得所生成的新样本语料的数量与该目标语料类别对应的已有样本语料的数量之和达到所述基线样本数量。

本发明的一个实施例中，所述根据属于该目标语料类别的已有样本语料中包含的词槽对已有样本语料进行调整，生成新样本语料，包括：

按照第一生成方式、第二生成方式和第三生成方式中的至少一种，生成新样本语料：

所述第一生成方式为：以第一信息替换属于该目标语料类别的已有样本语料中包含的词槽，生成新样本语料，其中，所述第一信息为：与已有样本语料中所包含词槽的词槽类别相同、且已有样本语料中不包含的预设词槽；

所述第二生成方式为：删除属于该目标语料类别的已有样本语料中的第二信息，生成新样本语料，其中，所述第二信息为：除已有样本语料中包含的词槽和已有词汇之外的非关键字符，所述已有词汇包括：已有样本语料中除所包含的词槽之外的词汇；

所述第三生成方式为：在属于该目标语料类别的已有样本语料中包含的词槽和已有词汇之外的位置添加第三信息，生成新样本语料，其中，所述第三信息为：预设的不会对语料所表达的语义产生影响的字符。

本发明的一个实施例中，所述按照第一生成方式、第二生成方式和第三生成方式中的至少一种，生成新样本语料，包括：

按照所述第一生成方式，生成新样本语料；