[发明专利]针对机器学习效果的测试方法、装置、设备和介质

说明书

本申请公开了一种针对机器学习效果的测试方法、装置、设备和介质，涉及机器学习测试技术。具体实现方案为：获取在线上系统中对请求数据进行特征提取得到的线上特征集，以及利用机器学习模型对线上特征集进行预估得到的线上预估值集合；获取在线下系统中对应用阶段得到的样本集进行特征提取得到的第一线下特征集，以及利用机器学习模型进行评估得到的第一线下评估值集合；分别从请求数据与样本集中获取第一交集数据和第二交集数据；比较第一交集数据和第二交集数据、及其线上特征集和第一线下特征集、线上预估值集合和第一线下评估值集合，并根据比较结果确定测试结果。本申请实施例能有效测试出模型在线上系统和线下系统中的一致性问题是否发生。

技术领域

本申请涉及机器学习领域，尤其涉及一种机器学习测试技术，具体涉及一种针对机器学习效果的测试方法、装置、设备和介质。

背景技术

随着人工智能的迅猛发展，机器学习技术在互联网领域越来越受到关注，并且在多个产品领域有了应用，例如商务搜索推荐系统中应用了多类有监督机器学习技术来进行点击率预估和风险预估等。

有监督分类学习模型迭代过程中包含了训练、评估、预估、应用四个步骤，这些迭代步骤在学校、实验室等教学和调研场景中，通常是单机实现的，然而到了工业应用场景中，在大数据、高并发的实际业务驱动下，模型迭代流程被拆分为线上(主要用于预估和应用)以及线下(主要用于训练和评估)两类架构，而线上和线下系统有着非常大的区别。

具体的，由于线上和线下的不同系统特点，对应了不同的升级方式、配置方式和部署方式等多重隐患的共同作用，导致了模型在线上和线下两个系统下存在不一致的情况，使得模型的业务使用效果大打折扣，和调研阶段的预期形成差距，造成机器学习技术在工业实际应用上线后效果损失情况普遍严重。

发明内容

本申请实施例提供一种针对机器学习效果的测试方法、装置、设备和介质，以对线上、线下两个系统下模型的使用效果是否存在不一致的问题进行测试和评估。

第一方面，本申请实施例提供了一种针对机器学习效果的测试方法，包括：

获取在线上系统中对获取的请求数据进行特征提取得到的线上特征集，以及利用机器学习模型对所述线上特征集进行预估得到的线上预估值集合；

获取在线下系统中对应用阶段得到的样本集进行特征提取得到的第一线下特征集，以及利用所述机器学习模型对所述第一线下特征集进行评估得到的第一线下评估值集合；

分别从所述请求数据与所述样本集中获取第一交集数据和第二交集数据，其中，所述第一交集数据和第二交集数据在至少一个数据维度上具有相同的数据；

分别比较所述第一交集数据和第二交集数据、所述第一交集数据的线上特征集和所述第二交集数据的第一线下特征集、所述第一交集数据的线上预估值集合和所述第二交集数据的第一线下评估值集合，并根据比较结果确定测试结果。

第二方面，本申请实施例还提供了一种针对机器学习效果的测试装置，包括：

线上预估值集合确定模块，用于获取在线上系统中对获取的请求数据进行特征提取得到的线上特征集，以及利用机器学习模型对所述线上特征集进行预估得到的线上预估值集合；

第一线下评估值集合确定模块，用于获取在线下系统中对应用阶段得到的样本集进行特征提取得到的第一线下特征集，以及利用所述机器学习模型对所述第一线下特征集进行评估得到的第一线下评估值集合；

交集数据获取模块，用于分别从所述请求数据与所述样本集中获取第一交集数据和第二交集数据，其中，所述第一交集数据和第二交集数据在至少一个数据维度上具有相同的数据；

问题确定模块，用于分别比较所述第一交集数据和第二交集数据、所述第一交集数据的线上特征集和所述第二交集数据的第一线下特征集、所述第一交集数据的线上预估值集合和所述第二交集数据的第一线下评估值集合，并根据比较结果确定测试结果。