[发明专利]模型离线训练评估方法、装置、介质和电子设备

说明书

公开了一种模型离线训练评估方法、装置、介质以及电子设备。其中的方法包括：经由待检验点击通过率模型对预设集合中的多个历史提供信息记录分别执行为用户提供信息操作，获得多个第一操作结果；获取多个第一操作结果与相应第二操作结果的相似度；根据相似度对预设集合中的历史提供信息记录进行筛选；利用筛选出的历史提供信息记录，对状态预测模型和待检验点击通过率模型进行模拟在线训练，获得新的点击通过率模型，新的点击通过率模型用于再次对预设集合中的历史提供信息记录进行筛选；对至少两次筛选出的历史提供信息记录，进行预设性能指标的统计，获得待检验点击通过率模型的性能指标。本公开提供的技术方案有利于提高模型离线训练效果。

技术领域

本公开涉及计算机技术，尤其是涉及一种模型离线训练评估方法、模型离线训练评估装置、存储介质以及电子设备。

背景技术

信息推荐以及信息搜索等技术，均涉及向用户提供相应的信息。在向用户提供信息的过程中，通常会利用CTR(Click Through Rate，点击通过率)模型，对多个待提供信息分别进行用户点击信息的概率预测，并根据预测出的多个概率对多个待提供信息进行排序，以便于确定向用户提供的信息。

在CTR模型的应用过程中，通常会利用离线训练后的CTR模型，作为在线CTR模型的初始化模型，因此，CTR模型的离线训练效果，会影响在线CTR模型的性能。准确的评估CTR模型的离线训练效果，从而提高CTR模型的离线训练效果，是一个值得关注的技术问题。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种模型离线训练评估方法、模型离线训练评估装置、存储介质以及电子设备。

根据本公开实施例的一方面，提供了一种模型离线训练评估方法，该方法包括：经由待检验点击通过率模型针对预设集合中的多个用户的历史提供信息记录，分别执行为用户提供信息操作，获得多个第一操作结果；获取所述多个第一操作结果与相应历史提供信息记录中的线上点击通过率模型执行为用户提供信息操作的第二操作结果的相似度，获得多个相似度；根据所述多个相似度，对所述预设集合中的历史提供信息记录进行筛选；利用筛选出的历史提供信息记录，对状态预测模型进行模拟在线训练；根据所述状态预测模型在模拟在线训练过程中的输出，对所述待检验点击通过率模型进行模拟在线训练，获得新的点击通过率模型，所述待检验点击通过率模型被所述新的点击通过率模型更新，且所述更新后的待检验点击通过率模型用于再次对预设集合中的历史提供信息记录进行筛选；对至少两次筛选出的历史提供信息记录，进行预设性能指标的统计，获得待检验点击通过率模型的性能指标。

在本公开一实施方式中，所述待检验点击通过率模型包括：信息推荐模型、或者信息搜索模型；所述为用户提供信息操作包括：信息推荐操作、或者信息搜索操作。

在本公开又一实施方式中，所述经由待检验点击通过率模型针对预设集合中的多个用户的历史提供信息记录，分别执行为用户提供信息操作，获得多个第一操作结果，包括：针对预设集合中的任一用户的任一历史提供信息记录，经由待检验点击通过率模型，分别预测该历史提供信息记录中的被提供信息列表中的各被提供信息的点击概率，预测获得的所述各被提供信息的点击概率被作为一第一操作结果。

在本公开再一实施方式中，所述针对预设集合中的任一用户的任一历史提供信息记录，经由待检验点击通过率模型，分别预测该历史提供信息记录中的被提供信息列表中的各被提供信息的点击概率，包括：针对预设集合中的任一用户的任一历史提供信息记录，将该历史提供信息记录中的用户在提供信息操作前执行的多种类型的行为的行为量特征、用户在提供信息操作前的用户偏好以及各被提供信息的信息特征，提供给所述待检验点击通过率模型，以经由所述待检验点击通过率模型预测所述各被提供信息的点击概率。