[发明专利]模型性能的检测方法、装置、计算机设备及存储介质

说明书

本公开关于一种模型性能的检测方法、装置、计算机设备及存储介质。该方法包括：获取信息展示系统中存储的各历史信息展示数据，历史信息展示数据中至少包括信息展示位的信息；从各历史信息展示数据中确定出多个样本数据；通过信息展示系统，检索与各样本数据中的信息展示位对应的展示信息；判断信息展示位与检索出的展示信息组成的信息组合，是否存在于历史信息展示数据中；若信息组合存在于历史信息展示数据中，则获取信息组合对应的交互信息，其中，交互信息用于表示账户与展示信息的交互操作；基于交互信息，确定待测模型的性能检测结果。本公开可以实现提高账户反馈评估模型的评估准确率。

技术领域

本公开涉及计算机技术领域，尤其涉及一种模型性能的检测方法、装置、计算机设备及存储介质。

背景技术

目前，程序化广告投放已成为互联网广告投放的主流模式。基于机器学习技术的账户反馈评估模型是程序化广告投放的核心模型。该账户反馈评估模型可以预估某一广告投放至某一信息展示位时，该广告的账户反馈率，以根据账户反馈率来决定该广告的投放。为了提高账户反馈评估模型的精确度，通常信息展示系统会持续用新的广告数据训练账户反馈评估模型，得到新的账户反馈评估模型。新的账户反馈评估模型在部署上线前，需要检测是否相较于旧的账户反馈评估模型的精确度更高，若性能提升，则上线新的模型。

传统评估方案中，将信息展示系统中的历史信息展示数据划分为两部分。一部分为用于训练账户反馈评估模型的训练集，另一部分为用于测试账户反馈评估模型的测试集。训练集和测试集划分之后，可以通过训练集中的历史信息展示数据对账户反馈评估模型进行训练。训练结束后，通过测试集中的历史广告对账户反馈评估模型进行测试，得到测试结果。之后，可以根据测试结果与真实结果之间的差异大小，来评估账户反馈评估模型的精确度。

然而，传统技术中采用大量的历史信息展示数据对账户反馈评估模型进行训练和测试，存在评估结果不够准确的缺点。

发明内容

本公开提供一种模型性能的检测方法、装置、计算机设备及存储介质，以解决传统技术中模型评估准确率低的技术问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种模型性能的检测方法，所述方法包括：

获取信息展示系统中存储的各历史信息展示数据，其中，所述历史信息展示数据中至少包括信息展示位的信息；

从各所述历史信息展示数据中确定出多个样本数据；

通过所述信息展示系统，检索与各所述样本数据中的信息展示位对应的展示信息，其中，所述信息展示系统中设置了待检测性能的待测模型，所述待测模型用于执行上述检索处理中的一个或多个操作；

判断所述信息展示位与检索出的展示信息组成的信息组合，是否存在于所述历史信息展示数据中；

若所述信息组合存在于所述历史信息展示数据中，则获取所述信息组合对应的交互信息，其中，所述交互信息用于表示账户与所述展示信息的交互操作；

基于所述交互信息，确定所述待测模型的性能检测结果。

作为一种可选的实施方式，所述历史信息展示数据中还包括展示信息，所述通过所述信息展示系统，检索与各所述样本数据中的信息展示位对应的展示信息，包括：

通过所述信息展示系统中设置的多个检索算法，从信息库中检索与各所述信息展示位的特征相匹配的展示信息；其中，所述待测模型中设置有一个或多个所述检索算法。

作为一种可选的实施方式，所述获取所述信息组合对应的交互信息，包括：

获取所述待测模型的性能检测维度；

读取各所述信息组合对应所述性能检测维度的属性值；

将各所述信息组合属性值的平均值确定为所述交互信息的属性值。