[发明专利]测试集生成方法、装置、计算机设备和存储介质

权利要求书

1.一种测试集生成方法，所述方法包括：

获取主诉数据集；

对所述主诉数据集中的每条主诉数据进行关键词提取得到目标关键词；

从预配置的数据标签集中查询每个目标关键词所关联的初始数据标签链；

从所述初始数据标签链中提取以相应目标关键词为起点的目标数据标签链，作为相应主诉数据所对应的目标数据标签链；

从每条主诉数据对应的目标数据标签链中提取目标标签；

根据每条主诉数据对应的目标标签的标签属性，从所述主诉数据集中提取待测试的每个分类模型对应的目标主诉数据；所述分类模型有多个；

根据每个分类模型对应的目标主诉数据，以及每条目标主诉数据对应的、且标签属性与相应分类模型相匹配的目标标签，得到每个分类模型对应的模型测试集。

2.根据权利要求1所述的方法，其特征在于，所述根据每个分类模型对应的目标主诉数据，以及每条目标主诉数据对应的、且标签属性与相应分类模型相匹配的目标标签，得到每个分类模型对应的模型测试集之后，所述方法还包括：

根据每个分类模型对应的模型测试集中每条目标主诉数据对应的目标数据标签链，以及每条目标数据标签链中每个数据标签的标签属性，将每个分类模型对应的模型测试集划分为算法测试集与业务测试集。

3.根据权利要求2所述的方法，其特征在于，所述将每个分类模型对应的模型测试集划分为算法测试集与业务测试集之后，所述方法还包括：

根据每个算法测试集中每条目标主诉数据对应的目标数据标签链，以及每条目标主诉数据标签链中每个数据标签的标签属性，按照算法层面预配置的算法标签类别，将每个算法测试集划分为多个算法测试子集；每个算法测试子集对应一个算法标签类别；

根据每个业务测试集中每条目标主诉数据对应的目标数据标签链，以及每条目标主诉数据标签链中每个数据标签的标签属性，按照业务层面预配置的业务标签类别，将每个业务测试集划分为多个业务测试子集；每个业务测试子集对应一个业务标签类别。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取业务指标标签；

根据所述主诉数据集中的线上真实主诉数据，确定每个业务指标标签对应的标签占比；

按照各所述业务指标标签对应的标签占比，将每个分类模型对应的业务测试集划分为多个业务测试子集；每个业务测试子集对应一个业务指标标签。

5.根据权利要求1所述的方法，其特征在于，所述从每条主诉数据对应的目标数据标签链中提取目标标签，包括：

从每条主诉数据对应的目标数据标签链中提取候选标签；

将所述主诉数据与相应候选标签发送至终端进行质检；

接收所述终端针对各所述主诉数据反馈的目标标签。

6.根据权利要求1至5任意一项所述的方法，其特征在于，所述方法还包括：

将每个分类模型对应的模型测试集中的目标主诉数据输入相应分类模型，得到每个目标主诉数据对应的预测标签；

根据每个模型测试集中各条目标主诉数据对应的预测标签与目标标签，得到相应分类模型对应的测试结果。

7.根据权利要求3至5任意一项所述的方法，其特征在于，所述方法还包括：

根据每个分类模型在每个目标标签类别下对应的目标测试子集，分别对相应分类模型进行测试，得到每个目标标签类别对应的测试子结果；所述目标标签类别包括算法标签类别与业务标签类别；所述目标测试子集包括算法测试子集与业务测试子集；

根据所述主诉数据集中的线上真实主诉数据，确定每个目标标签类别对应的标签占比；

根据每个目标标签类别对应的标签占比与测试子结果，得到相应分类模型所对应的测试结果。