[发明专利]错误样本的修复语料生成方法和装置

说明书

本申请公开了错误样本的修复语料生成方法、逻辑回归模型的修复方法和装置。错误样本的修复语料生成方法的一具体实施方式包括：对错误样本的输入文本进行分词，得到词语集合；基于词语集合以及预先训练的错误样本所属的逻辑回归模型，通过逻辑回归算法，获得词语集合中的每一个词语对应的第一分类和概率值，以及所述词语集合中的词语对应的平均概率值，逻辑回归模型为产生所述错误样本的逻辑回归模型；在词语集合中按照对应的概率值与所述平均概率值的差距由小到大的顺序选取预定数量个词语作为第一词语；将所述输入文本与各个第一词语进行拼接，生成所述错误样本的修复语料。该实施方式降低了人力成本，并使得修复出的逻辑回归模型更准确。

技术领域

本申请涉及计算机技术领域，具体涉及机器学习技术领域，尤其涉及错误样本的修复语料生成方法、逻辑回归模型的修复方法和装置。

背景技术

机器学习是利用一些方法来使机器实现人的学习行为，以便获取新的知识或技能，并重新组织已有的知识结构使之不断改善自身的性能。通过机器学习的方法训练出来的逻辑回归模型在使用过程中，往往会产生一些不符合用户心理预期的错误样本(badcase)。为了修复错误样本，现有技术通常是通过人工根据错误样本输入修复语料并对修复语料进行标注，然后将修复语料加入逻辑回归模型对应的训练语料集合中，并基于加入修复语料的训练语料集合，训练出修复的逻辑回归模型，来修复错误样本。

然而，现有技术通过人工来生成修复语料，在存在大量错误样本的情况下人力成本较高，并且修复出的逻辑回归模型也不够准确。

发明内容

本申请的目的在于提出一种错误样本的修复语料生成方法、逻辑回归模型的修复方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请提供了一种错误样本的修复语料生成方法，所述方法包括：对错误样本的输入文本进行分词，得到词语集合，其中，所述错误样本包括：输入文本信息；基于所述词语集合以及预先训练的所述错误样本所属的逻辑回归模型，通过逻辑回归算法，获得所述词语集合中的每一个词语对应的第一分类和概率值，以及所述词语集合中的词语对应的平均概率值，其中，所述逻辑回归模型为产生所述错误样本的逻辑回归模型；在所述词语集合中按照对应的概率值与所述平均概率值的差距由小到大的顺序选取预定数量个词语作为第一词语；将所述输入文本与各个第一词语进行拼接，生成所述错误样本的修复语料。

第二方面，本申请提供了一种逻辑回归模型的修复方法，所述方法包括：接收错误样本，其中，所述错误样本包括：输入文本信息；通过第一方面所述的方法，生成所述错误样本的修复语料；基于所述错误样本所属的逻辑回归模型中的各个第一分类对应的预存的关键词集合，提取所述输入文本信息中的关键词，并根据所述输入文本信息中的关键词对应的第一分类对所述修复语料的第一分类进行标注；将带有标注的所述修复语料加入所述逻辑回归模型对应的带有第一分类标注的训练语料集合中，并根据所述训练语料集合中的训练语料的第一分类标注，对所述训练语料集合中的训练语料进行训练，生成新的逻辑回归模型。

第三方面，本申请提供了一种错误样本的修复语料生成装置，所述装置包括：第一分词单元，用于对错误样本的输入文本进行分词，得到词语集合，其中，所述错误样本包括：输入文本信息；概率值获取单元，用于基于所述词语集合以及预先训练的所述错误样本所属的逻辑回归模型，通过逻辑回归算法，获得所述词语集合中的每一个词语对应的第一分类和概率值，以及所述词语集合中的词语对应的平均概率值，其中，所述逻辑回归模型为产生所述错误样本的逻辑回归模型；第一词语选取单元，用于在所述词语集合中按照对应的概率值与所述平均概率值的差距由小到大的顺序选取预定数量个词语作为第一词语；第一修复语料拼接单元，用于将所述输入文本与各个第一词语进行拼接，生成所述错误样本的修复语料。