[发明专利]一种样本筛选方法及装置

权利要求书

1.一种样本筛选方法，该方法包括：

获得历史场景数据；

根据预设测试规则，测试目标样本对所述历史场景数据的预测准确度；

在所述目标样本对所述历史场景数据的预测准确度达到预设离线阈值的情况下，获得实时场景数据并确定预设的上线数据批次；

根据所述测试规则及所述上线数据批次，分批次灰度测试目标样本对所述实时场景数据的预测准确度；

在所述目标样本对所述实时场景数据的预测准确度达到预设上线阈值的情况下，将所述目标样本加入线上样本库，以应用于对实时场景数据进行预测；

监测线上样本库中所述目标样本对实时场景数据的预测准确度，并根据监测到的预测准确度与预设下线阈值的关系，确定是否将所述目标样本从线上样本库中移除。

2.根据权利要求1所述的方法，所述根据所述测试规则及所述上线数据批次，分批次灰度测试目标样本对所述实时场景数据的预测准确度，包括：

根据所述上线数据批次，确定第一批次的实时场景数据，并将所述第一批次的实时场景数据确定为当前实时场景数据；

循环执行以下步骤，直至所述目标样本对当前实时场景数据的预测准确度未达到预设上线阈值、或无未测试的实时场景数据：

根据所述测试规则，测试所述目标样本对当前实时场景数据的预测准确度；

根据所述上线数据批次，确定是否存在未测试的实时场景数据；若是，则将当前实时场景数据的下一批次实时场景数据，确定下一次循环的当前实时场景数据；

循环结束后，根据对各批次实时场景数据的预测准确度，得到所述目标样本对所获得实时场景数据的预测准确度。

3.根据权利要求1或2所述的方法，所述目标样本为目标关键词样本；

其中，根据预设测试规则，测试目标样本对场景数据的预测准确度的方法，包括：

使用所述目标关键词样本，对场景数据进行目标关键词检索，得到包括所述目标关键词的若干第一命中语句；

对所得到的各第一命中语句进行语义识别，确定所述若干第一命中语句中，符合预设语义条件的第二命中语句；

根据所述第一命中语句与第二命中语句的数量关系，得到所述目标关键词样本对场景数据的预测准确度。

4.根据权利要求3所述的方法，所述根据预设测试规则，测试目标样本对场景数据的预测准确度的方法，还包括在根据所述第一命中语句与第二命中语句的数量关系，得到所述目标关键词样本对场景数据的预测准确度后：

将根据所述第一命中语句与第二命中语句的数量关系得到的预测准确度作为第一准确度；

根据对各第一命中语句的语义识别结果及预设处理规则，对各第一命中语句采取对应的处理操作；所述处理规则用于表示：对于不同语义的语句的不同处理操作；

根据采取不同操作处理的第一命中语句的数量得到第二准确度；

根据所述第一准确度与所述第二准确度的数量关系，确定所述目标关键词样本对场景数据的预测准确度。

5.据权利要求1所述的方法，所述目标样本为目标训练样本；

其中，根据预设测试规则，测试目标样本对场景数据的预测准确度的方法，包括：

获得原始训练模型对场景数据的原始预测结果；所述原始训练模型为：使用不包括所述目标训练样本的样本库训练得到的、用于对场景数据进行预测的训练模型；

将所述目标训练样本加入所述原始训练模型的样本库，并对所述原始训练模型进行更新得到目标训练模型；

获得所述目标训练模型对场景数据的目标预测结果；

根据所述原始预测结果与所述目标预测结果的差异，得到所述目标训练样本对场景数据的预测准确度。

6.根据权利要求1所述的方法，在将所述目标样本加入线上样本库前，还包括：

确定所述目标样本是否存在预设上线条件；

若是，则确定所述目标样本当前是否符合所述预设上线条件，并在符合的情况下，将所述目标样本加入线上样本库。