[发明专利]参与度相关性模型离线评估度量

说明书

对照基础事实来离线评估可用于电子商务和计算机模拟目的的参与度相关性模型，以确定哪个是预测各种度量的最佳模型，所述各种度量诸如有可能购买什么产品、用户留在网页上多长时间、以及用户将如何对电子商务商品进行排名。评估包括对多个用户中的每一个的基础事实与模型预测之间的绝对误差进行求和，从而将所有预测统计的和归一化为一。可应用权重以通过考虑到对不成比例地受欢迎的商品的偏向来减少评估的偏斜。

技术领域

本申请涉及评估参与度相关性模型。

背景技术

相关性模型用于预测各种电子商务度量，包括特定用户可能会购买什么产品、特定用户可能会留在特定网页上多长时间、以及用户可能如何对多个商品进行排序。明显地，准确的相关性模型在现代商务中对于基于诸如客户如何购买产品、客户如何与信息流交互、客户如何与媒体内容交互等因素来将客户体验个性化来说很重要。为了提供这些体验，组织需要构建将提供用户如何与各种类型的商品相关的得分的相关性模型。

如本文所认识到，用于评估相关性模型的现有方法没有充分地考虑到多种类型的基础事实(ground truth)，诸如二元类型(例如，用户是否购买商品)、多变量类型(例如，商品与锚定商品的相似性的排名)和数值类型(例如，在网页上的停留时间)。此外，就使一个相关性度量既考虑到分类问题、排名问题又考虑到估计问题而言，用于评估相关性模型的有效性的现有方法不够灵活。此外，用于评估相关性模型的有效性的现有方法在处理特殊情况方面不够灵活，例如，鼓励推荐产品的多样性以及在同时应用基于位置的排名。此外，用于评估相关性模型的有效性的现有方法不能同时处理三个需求：i)考虑到商品的比例重要性的差异，这可能会使结果偏斜；ii)充分地惩罚不正确的预测；iii)面对同样地良好的结果时充分地区分模型。另外地，用于评估相关性模型的有效性的度量需要容易地且以可量化的方式传达评估的结果(例如，度量被约束在固定范围内，不同于RMSE和MAE这两种用于回归模型的现有度量)。

发明内容

因此，一种装置包括：至少一个计算机存储设备，所述至少一个计算机存储设备不是暂时性信号并进而包括指令，所述指令可由至少一个处理器执行以针对第一模型，对于用户和商品的多个集中的每一个，确定表示与所述商品的用户交互的模型预测的第一值和表示与所述商品的实际用户交互的第二值之间的绝对差值。所述指令可执行以对于多个用户中的每一个，跨所有商品将所述第一值归一化，使得所述值总计为一。将类似的归一化指令应用于所述第二值。所述指令可执行以对于多个用户中的每一个，对针对多个商品确定的所述绝对差值进行求和，以呈现用户和；对所述用户和进行求和，以呈现总和；以及将所述总和除以用户的数量，以呈现概率绝对误差(PAE)。针对至少第二模型，类似地确定PAE。基于所述第一模型具有比所述第二模型低的PAE，将所述第一模型输出作为较好模型，否则将所述第二模型输出作为所述较好模型，并且将所述较好模型用于提供电子商务，包括计算机模拟。

在一些实现方式中，为考虑到特殊情况，例如，因不成比例地受欢迎的测试交互而引起的评估偏斜，所述指令可执行以在对所述用户和进行求和之前，将至少一些用户和乘以表示与所述商品的所述实际用户交互的加权的第二值的和，以呈现加权的用户和。所述指令可进一步执行以对于每个目标用户，针对模型预测了这个目标将为非负的每个商品(例如，用户将购买/阅读/点击该商品/在该商品停留)，计算权重w_I*预测概率p_u,I的值；对于每个目标用户，针对所有商品进行求和；以及对针对所有用户的和进行求和，以呈现加权的PAE(WPAE)。在该实施方案中，所述指令可执行以基于所述第一模型具有比所述第二模型低的WPAE而输出所述第一模型为较好模型，否则输出所述第二模型作为所述较好模型以将所述较好模型用于提供电子商务。