[发明专利]基于spark streaming实时流的特征工程推荐方法及装置、视频网站

权利要求书

1.一种基于spark streaming实时流的特征工程推荐方法，其特征在于，包括，

获取客户端的展开日志和点击日志，清洗后打入分布式消息队列；

使用spark streaming订阅展开日志和点击日志的日志流，在工程中合并两个日志流中的流数据；操作流数据生成标签以标识出展开点击和展开未点击流数据；

根据基础特征为展开日志和点击日志构造多维特征，同时组合基础时间特征；

将组合完特征后的流数据输出hdfs和kafka中，在hdfs中基于历史流数据进行GDBT模型训练并根据GDBT模型对特征进行特征变换，将变换后特征与hdfs和kafka中的原始特征组合并生成新的特征，

将具有新的特征的流数据分别进行离线训练和在线训练以生成推荐流数据。

2.如权利要求1所述的基于spark streaming实时流的特征工程推荐方法，其特征在于，所述的多维特征包括用户等级特征、视频长短喜好特征、用户特征、视频卡片特征和观影特征，所述的基础时间特征包括两维特征以限定到具体时间。

3.如权利要求1所述的基于spark streaming实时流的特征工程推荐方法，其特征在于，具有新的特征的流数据用以进行LR和FTRL的CTR预测模型训练。

4.如权利要求1所述的基于spark streaming实时流的特征工程推荐方法，其特征在于，spark streaming接收两个日志流并生成统一格式的键值对流数据，然后使用union将两个流数据合并，合并后的流数据通过reduceByKey操作生成标签label，出现且被点击过的视频标签置为1否则置为0。

5.如权利要求1所述的基于spark streaming实时流的特征工程推荐方法，其特征在于，spark streaming的流数据处理窗口的大小设成预定时间间隔，同时保留前一个时段的展示日志的流数据以待与延迟到达的点击流数据合并。

6.一种基于spark streaming实时流的特征工程推荐装置，其特征在于，包括，

日志收集清洗模块，用以获取客户端的展开日志和点击日志，清洗后打入分布式消息队列；

流数据合并模块，使用spark streaming订阅展开日志和点击日志的日志流，在工程中合并两个日志流中的流数据并操作流数据生成标签以标识出展开点击和展开未点击流数据；

基础特征构建模块，用以根据基础特征为展开日志和点击日志构造多维特征，

在线特征构建模块，用以将展开点击时间作为特征组合至所述的多维特征，

特征变换组合模块，将组合完特征后的流数据输出hdfs和kafka中，在hdfs中基于历史流数据进行GDBT模型训练并根据GDBT模型对特征进行特征变换，将变换后特征与hdfs和kafka中的原始特征组合并生成新的特征，将具有新的特征的流数据分别进行离线训练和在线训练以生成推荐流数据。

7.如权利要求6所述的基于spark streaming实时流的特征工程推荐装置，其特征在于，具有新的特征的流数据用以进行特征变换以LR和FTRL的CTR预测模型训练。

8.一种具有如权利要求6或7所述的特征工程推荐装置的视频网站。