[发明专利]一种评测模型的方法和装置

说明书

本发明公开了一种评测模型的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：确定各领域的资源的使用占比率；对于每一领域，获取与所述领域的资源的使用占比率对应的高频话术，将获取的各领域的话术组成测试集；利用所述测试集评测预训练的模型。该实施方式构造的测试集能够体现应用场景的特点，该测试集中的数据分布符合应用场景中实际处理的数据分布规律，通过该测试集对模型进行评测可以更准确的确定模型的准确率，从而对模型进行优化。

技术领域

本发明涉及计算机技术领域，尤其涉及一种评测模型的方法和装置。

背景技术

随着机器学习算法的不断发展，越来越多的领域应用到机器学习模型。训练机器学习模型的目的是使用已有的数据来预测未知的数据，通常将模型对未知数据的预测能力称为泛化能力。为了评估一个模型的泛化能力，会将数据随机划分成训练集和测试集，训练集用来训练模型，测试集用来评估模型的泛化能力。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：训练集和测试集划分单一，不能体现应用场景的特点。

发明内容

有鉴于此，本发明实施例提供一种评测模型的方法和装置，该评测模型的方法和装置构造的测试集能够体现应用场景的特点，该测试集中的数据分布符合应用场景中实际处理的数据分布规律，通过该测试集对模型进行评测可以更准确的确定模型的准确率，从而对模型进行优化。

为实现上述目的，根据本发明实施例的一个方面，提供了一种评测模型的方法，包括：确定各领域的资源的使用占比率；对于每一领域，获取与所述领域的资源的使用占比率对应的高频话术，将获取的各领域的话术组成测试集；利用所述测试集评测预训练的模型。

在可选的实施例汇总，确定各领域的资源的使用占比率包括：统计在预设时间段内各领域的话术量；对于每一领域，将所述领域的话术量与所有领域的话术量之和的比值作为所述领域的使用占比率。

在可选的实施例中，利用所述测试集评测预训练的模型包括：

将所述测试集中的每条话术进行标注，以确定每条话术所属的领域、每条话术的目的以及每条话术的关键字；

将所述测试集中的每条话术输入预训练的模型，得到处理结果，所述处理结果包括所述预训练的模型预测的每条话术所属的领域、每条话术的目的以及每条话术的关键字；

对于每条话术，分别对比标注的领域和预测的领域、标注的目的和预测的目的、标注的关键字和预测的关键字；

根据对比结果，评测所述预训练的模型。

在可选的实施例中，所述对比结果包括：领域精准率、领域召回率、目的精准率、目的召回率、关键字精准率和关键字召回率；

根据对比结果，评测所述预训练的模型包括：

根据领域精准率和领域召回率，确定领域F1值；根据目的精准率和目的召回率，确定目的F1值；根据关键字精准率和关键字召回率，确定关键字F1值；

根据所述领域F1值、目的F1值和关键字F1值，评测所述预训练的模型。

为实现上述目的，根据本发明实施例的另一个方面，提供了一种评测模型的装置，包括：占比确定模块，用于确定各领域的资源的使用占比率；测试集生成模块，用于对于每一领域，获取与所述领域的资源的使用占比率对应的高频话术，将获取的各领域的话术组成测试集；评测模块，用于利用所述测试集评测预训练的模型。

在可选的实施例中，所述占比确定模块还用于：统计在预设时间段内各领域的话术量；对于每一领域，将所述领域的话术量与所有领域的话术量之和的比值作为所述领域的使用占比率。

在可选的实施例中，所述评测模块还用于：