[发明专利]一种基于大数据机器学习智能投放系统

权利要求书

1.一种基于大数据机器学习智能投放系统，其特征在于，包括数据采集服务、大数据处理服务、训练算法、模型预测，分析型数据库adb，定时调度与冗余数据清理；其中，定时调度与冗余数据清理分别连接大数据处理服务、训练算法、模型预测和分析型数据库adb，数据采集服务连接于大数据处理服务，大数据处理服务通过样本连接于训练算法；大数据处理服务通过实时输入连接于模型预测，模型预测连接于分析型数据库adb；模型预测还通过结果反馈连接于大数据处理服务。

2.根据权利要求1所述的一种基于大数据机器学习智能投放系统，其特征在于：训练算法中包括线性模型和树形模型；所述训练算法采用最近7天的历史数据，通过模型特征构造，深度神经网络模型构建，训练出各个模型的权重文件并保存，模型预测时通过保存的权重文件，重新构建出训练时的模型，从而对实时数据进行预测，预测的结果输出到分析型数据库adb，各模块的运行按不同的时间及依赖关系定时调度；由于数据比较看中时效性，过程中会产生较多的冗余数据，为节省存储空间，会调用定时调度与冗余数据清理。

3.根据权利要求1所述的一种基于大数据机器学习智能投放系统，其特征在于：所述数据采集服务是数据采集与分析的第三方大数据服务，不仅仅用于数据收集，也应用与其他数据分析的场合，例如用户画像、数据趋势、数据分布图；

本系统中，利用数据采集服务采集用户相关信息，广告渠道相关信息，用户事件的埋点信息，广告收入相关数据；Max Compute是阿里云的大数据处理服务，用于构建完整的数据仓库，首先将神策收集到的数据先同步进Max Compute，对数据进行清洗，去除重复、缺失字段等异常数据，然后再从各个维度汇总出一些粗粒度的数据或者宽表：

当用户数据中用户本身的数据较少，只有一些设备号、注册时间、手机型号等数据，这不利于精准推广，但用户是来源于渠道，渠道中包含了用户的使用行为和偏好，将用户和渠道进行关联便可将推广渠道的属性赋予用户，这就是用户宽表；

当对用户的行为数据，点击数、曝光数根据渠道进行聚合，便得到渠道维度的点击数和曝光数。

4.根据权利要求3所述的一种基于大数据机器学习智能投放系统，其特征在于：本系统所需的数据就是来源于数据仓库的数据，主要有两类数据：样本数据和实时输入数据；

样本数据用于训练模型，其中包含每个渠道每个广告位的点击数，曝光数，收入，每个渠道的新增人数以及渠道的创意、素材类型、平台类型、产品类型、操作系统类型，收入作为预测目标，其他的字段作为特征；

实时输入数据用于模型预测的输入，数据结构是样本数据去掉收入字段的剩余子集，每小时统计一批，为了保障数据的完整性，避免神策数据产生延时，采用推迟一小时抽取，为防止每个小时间隙会掉数据，采取每次抽取当天的全量数据，但数据量太大使抽取时间太长，将口径缩到最小，因为主要研究的是新用户，所以只抽取和新用户有关的行为数据。

5.根据权利要求2所述的一种基于大数据机器学习智能投放系统，其特征在于：所述线性模型是假设收入与点击数是成比例的，且参考了昨天的点击单价α，前两天的点击单价β，留存率衰减方程l(t)，而且引入了更多的维度，可一定程度的减轻现有方案的第三种缺陷；其中线性公式如下:

6.根据权利要求2所述的一种基于大数据机器学习智能投放系统，其特征在于：所述树形模型是用一个星期的样本训练梯度提升树模型，其中定义损失函数如下:

当损失函数如上公式所示时，则总体的损失函数如下:

模型对每个样本当前预测值所产生的梯度为：

模型通过梯度下降法拟合出数据最小残差。