[发明专利]一种知识库数据增强方法及装置

说明书

本申请提供一种知识库数据增强方法及装置，应用于数据处理领域，其中，知识库数据增强方法包括：循环执行交叉验证的步骤，得到交叉验证结果；其中，交叉验证结果包括多个测试结果；交叉验证的步骤包括：将知识库中的数据集划分为训练集以及测试集，其中，数据集包括多个意图类别，每个意图类别包括多个语句，训练集以及测试集均包括数据集中全部的意图类别；利用训练集对初始的第一文本分类模型进行训练，得到训练好的第二文本分类模型；利用第二文本分类模型对测试集进行测试，得到一个测试结果；根据交叉验证结果计算知识库中每个语句的错误率，并根据错误率对知识库进行更新。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种知识库数据增强方法及装置。

背景技术

在智能对话业务场景中，知识库作为对话机器人的知识源，其数据的稳定性与高质量性决定了在对话过程中的知识流转的准确性。其中，知识库包括语句和意图数据，这两部分承担着实现意图识别的文本分类模型的训练和验证。

在实际业务场景中，知识库的质量问题主要体现在语句和意图数据两个方面上。其中，在语句层面上，存在问法高度雷同的冗余相似问，同一意图下的冗余相似问会降低模型的泛化能力，而不同意图下的冗余相似问易造成意图混淆；在意图数据层面上，多个意图间存在包含与被包含关系的意图交叉，造成意图体系的稳定性较差。

因此，在实际业务场景中，语句的冗余相似以及多个意图类别的意图交叉，均会导致知识库的质量较低。

发明内容

本申请实施例的目的在于提供一种知识库数据增强方法及装置，用以解决现有技术中知识库的质量较低的技术问题。

第一方面，本申请实施例提供一种知识库数据增强方法，包括：循环执行交叉验证的步骤，得到交叉验证结果；其中，所述交叉验证结果包括多个测试结果；根据所述交叉验证结果计算所述知识库中每个语句的错误率，并根据所述错误率对所述知识库进行更新；所述交叉验证的步骤包括：将知识库中的数据集划分为训练集以及测试集，其中，数据集包括多个意图类别，每个意图类别包括多个语句，所述训练集以及所述测试集均包括数据集中全部的意图类别；利用所述训练集对初始的第一文本分类模型进行训练，得到训练好的第二文本分类模型；利用所述第二文本分类模型对所述测试集进行测试，得到一个测试结果。在上述方案中，基于交叉验证的方式将知识库中的数据集划分为训练集和测试集，每次利用训练集训练文本分类模型，并利用测试集在训练后的文本分类模型上做推理测试，并保存测试结果；经过多次循环验证，统计知识库中每个语句的错误率，以根据错误率对知识库中的数据进行更新，从而实现知识库的数据增强，提高数据库的质量。

在可选的实施方式中，所述将知识库中的数据集划分为训练集以及测试集，包括：采用随机切分或者滑动窗口切分的方式将所述知识库中的数据集划分为所述训练集以及所述测试集。在上述方案中，在划分数据集时，根据不同的场景可以采用不同的划分方式。在循环验证的次数较少的场景下，可以采用滑动窗口切分的方式进行数据集的划分，从而保证每个语句均可以被测试到；在循环验证的次数较多的场景下，可以采用随机切分的方式进行数据集的划分，从而提高验证的效率。

在可选的实施方式中，所述训练集包括多个训练语句以及与每个训练语句对应的训练意图；所述利用所述训练集对初始的第一文本分类模型进行训练，得到训练好的第二文本分类模型，包括：将所述训练语句输入所述第一文本分类模型，得到所述第一文本分类模型输出的与所述训练语句对应的第一意图；根据所述第一意图以及所述训练意图计算预测损失；根据所述预测损失更新所述第一文本分类模型的参数，得到所述第二文本分类模型。在上述方案中，可以利用训练集对第一文本分类模型进行训练，以提高模型的性能，使得基于模型得到的验证结果更为准确，可以进一步提高知识库的质量。