[发明专利]机器学习模型的投放策略评估方法、装置及电子设备

说明书

本公开涉及一种机器学习模型的投放策略评估方法、装置、电子设备及计算机可读介质。该方法包括：确定待进行评估的机器学习模型和待评估的投放策略；将样本用户集合和定向用户集合分别输入所述机器学习模型中生成用户模型分集合和定向模型分集合；基于所述投放策略将所述用户模型分集合和所述定向模型分集合划分为多个样本投放集合和多个定向投放集合；获取所述多个样本投放集合和所述多个定向投放集合对应的多个样本流量分集合和多个定向流量分集合；基于所述多个样本流量分集合和所述多个定向流量分集合对所述机器学习模型的投放策略进行评估。本公开能够自动化的对机器学习模型的应用效果进行分析，节约大量的人力物力资源。

技术领域

本公开涉及计算机信息处理领域，具体而言，涉及一种机器学习模型的投放策略评估方法、装置、电子设备及计算机可读介质。

背景技术

机器学习的模型的一般评估方式是基于准确率的评估，训练出的模型是建立在总数据的子集上的，其被称为训练数据，训练结束后该模型将被用于预测其它新数据。通过训练集产生的模型，利用测试数据来进行模型效果的评估，评估结果以模型评估报告的形式呈现，在报告中通过AUC值、模型准确率、模型召回率等一系列评估指标将帮助判断模型是否可行以及是否满足业务目标。

在具体的应用场景中，比如金融服务网站中，需要通过机器学习模型对用户的整体金融风险进行评估，进而为用户指定不同的用户策略或者推动不同类型的广告。机器学习模型得到的用户金融风险数值是否能够很好的对业务目标进行区分，进而是否能够得到很好地区分效果，也就是说对机器学习模型的应用效果进行分析，目前是一个空白领域。如何衡量机器学习模型对业务目标的区分效果，进而通过机器学习模型指导业务目标的相关策略，是当前面临的技术瓶颈。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本公开提供一种机器学习模型的投放策略评估方法、装置、电子设备及计算机可读介质，能够自动化的对机器学习模型的效果进行分析，以便精准化投放机器学习模型并产出策略，节约大量的人力物力资源。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一方面，提出一种机器学习模型的投放策略评估方法，该方法包括：确定待进行评估的机器学习模型和待评估的投放策略；将样本用户集合和定向用户集合分别输入所述机器学习模型中生成用户模型分集合和定向模型分集合；基于所述投放策略将所述用户模型分集合和所述定向模型分集合划分为多个样本投放集合和多个定向投放集合；获取所述多个样本投放集合和所述多个定向投放集合对应的多个样本流量分集合和多个定向流量分集合；基于所述多个样本流量分集合和所述多个定向流量分集合对所述机器学习模型的投放策略进行评估。

可选地，还包括：获取存量用户中满足预设条件的用户以生成所述样本用户集合；通过历史积累的白名单用户和黑名单用户生成所述定向用户集合。

可选地，所述投放策略包括切分策略；基于所述投放策略将所述用户模型分集合和所述定向模型分集合划分为多个样本投放集合和多个定向投放集合，包括：获取所述切分策略中的多个阈值范围；将所述多个阈值范围分别和所述用户模型分集合中的多个用户模型分进行比较，以将所述用户模型分集合按照阈值范围分为所述多个样本投放集合；将所述多个阈值范围分别和所述定向模型分集合中的多个定向模型分进行比较，以将所述定向模型分集合按照阈值范围分为所述多个定向投放集合。

可选地，获取所述多个样本投放集合和所述多个定向投放集合对应的多个样本流量分集合和多个定向流量分集合之前，还包括：获取所述样本用户集合和所述定向用户集合的第一流量分集合和第二流量分集合；生成所述多个样本投放集合和所述多个定向投放集合对应的多个样本用户子集合和多个定向用户子集合；基于所述多个样本用户子集合和所述多个定向用户子集合对所述第一流量分集合和所述第二流量分集合进行整理以生成所述多个样本流量分集合和所述多个定向流量分集合。