[发明专利]基于流式数据的自动化层级探索方法和装置

说明书

本发明涉及数据探索方法领域，具体涉及基于流式数据的自动化层级探索方法和装置，该方法基于流式计算框架，包括：创建物品候选集、从物品候选集中获取样本生成新物品候选集、将新物品候选集中的样本推送给终端用户、通过流式计算框架采集终端用户行为数据、通过用户行为数据触发新物品候选集更新；新物品候选集包括若干不同层级，较高层级新物品候选集的样本来自前一较低层级新物品候选集。本发明通过对线上实时流式数据进行处理，监控新物品候选集的曝光次数来自动触发候选集的更新，解决定时更新导致的曝光不均的问题；设置若干不同层级的新物品候选集，解决了新物品不同曝光次数下置信度相同的问题。

技术领域

本发明涉及数据探索方法领域，具体涉及基于流式数据的自动化层 级探索方法和装置。

背景技术

随着互联网技术和社会化网络的发展，每天都会有大量的信息比如 文字资讯、图片、视频、商品、广告等发布到互联网上。从推荐系统或 计算广告系统的角度来看，系统每时每刻都面临大量的新老用户、新老 物品以及大量的用户行为数据。

对于已知静态属性或有行为数据的用户或物品，需要对其进行建模、 刻画其画像，然后在推荐中加以利用(Exploitation)；而对于新的用户 或物品，需要对其兴趣或者适用群体进行探索(Exploration)，当然老 的用户或物品也是需要探索的。

探索(Exploration)和利用(Exploitation)问题在推荐系统 和计算广告领域是一个常见的问题，一般通过多臂老虎机模型(计算 机领域算法模型)来解决。它解决的问题是：一个人看到一排老虎机， 在不清楚老虎机吐钱的概率并且在足够多的尝试机会前提下，选择哪 个老虎机可以做到收益最大化。这里的老虎机类比推荐或广告中的物 品，每一次摇臂尝试类比于物品曝光，吐钱就类比用户点击。现实中， 探索机会是有限的，每一次物品曝光都是珍贵的，但是现实中老虎机 远远不止那一排老虎机的数量，此外还会有不断加入新物品的情况。

实际中可行的探索方法是基于定时任务的探索方法是定时从海量新 增的物品中挖掘“质量较高”的物品随机的曝光给用户，然后将经过线 上流量检验的优质物品推广给更多的用户群体，而新物品候选集的更新 频率一般是通过定时任务来控制的，比如利用crontab设置该新物品的 候选集每10分钟更新一次。

但是这种定时更新新物品候选集的方式会存在两大问题：

一、新物品探索不均，不管什么应用或者产品，它的流量在一天中 存在流量高峰、流量低谷，也就意味着通过定时任务控制新物品候选集 的更新势必会带来曝光不均的问题；

二、新物品置信度不高，出现该问题的原因在于探索不均，对于一 个物品而言曝光1000次被用户点击100次与另外一个物品曝光100次被 用户点击10次点击率是一样的，但是这两个物品的点击率是不等价的， 前者的置信度实际更高。

发明内容

随着Apache Storm,Spark Streaming以及Apache Flink等主流 的流式框架的成熟，对于实时的流式数据处理也在更多的项目中落地， 为了解决上述技术问题，本发明提供了一种基于流式数据的自动化层级 探索方法和装置，能够在小流量下快速探索出优质、高置信度的新物品， 本发明的技术目的是通过以下技术方案实现的：

基于流式数据的自动化层级探索方法，该方法基于流式计算框架， 包括：创建物品候选集、从物品候选集中获取样本生成新物品候选集、 将新物品候选集中的样本推送给终端用户、通过流式计算框架采集终端 用户行为数据、监控新物品候选集的曝光次数触发新物品候选集更新； 新物品候选集包括若干不同层级，较高层级新物品候选集的样本来自前 一较低层级新物品候选集。

进一步地，为每个层级的新物品候选集的样本设定曝光阈值，每个 层级的新物品候选集内的曝光次数达到设定阈值后对新物品候选集内的 样本全部进行更新。