[发明专利]基于spark streaming实时流的特征工程推荐方法及装置、视频网站有效
| 申请号： | 201611147453.2 | 申请日： | 2016-12-13 |
| 公开（公告）号： | CN106599182B | 公开（公告）日： | 2019-10-11 |
| 发明（设计）人： | 刘严泽;田文宝;李修鹏;陈福;欣莅;党磊;张玲 | 申请（专利权）人： | 飞狐信息技术（天津）有限公司 |
| 主分类号： | G06F16/78 | 分类号： | G06F16/78 |
| 代理公司： | 天津创智天诚知识产权代理事务所(普通合伙) 12214 | 代理人： | 周庆路;田阳 |
| 地址： | 300000 天津市滨海新区天津经济开*** | 国省代码： | 天津;12 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于spark streaming实时流的特征工程推荐方法，包括，获取客户端的展开日志和点击日志，清洗后打入分布式消息队列；使用spark streaming订阅展开日志和点击日志的日志流，在工程中合并两个日志流中的流数据；操作流数据生成标签以标识出展开点击和展开未点击流数据；根据基础特征为展开日志和点击日志构造多维特征，同时组合基础时间特征；将具有新的特征的流数据分别进行离线训练和在线训练以生成推荐流数据。本发明提供了一种广泛适用大多数领域的特征提取方式，解决了特征工程适用范围小的问题,并采用以在线为主、离线纠正的方式，解决了特征工程时效性的问题，并经过一些列的特征组合变换来实现特征的有效性和准确性。 | ||
| 搜索关键词： | 基于 sparkstreaming 实时 特征 工程 推荐 方法 装置 视频 网站 | ||
【主权项】：
1.一种基于spark streaming实时流的特征工程推荐方法，其特征在于，包括，获取客户端的展开日志和点击日志，清洗后打入分布式消息队列；使用spark streaming订阅展开日志和点击日志的日志流，在工程中合并两个日志流中的流数据；操作流数据生成标签以标识出展开点击和展开未点击流数据；根据基础特征为展开日志和点击日志构造多维特征，同时组合基础时间特征；将组合完特征后的流数据输出hdfs和kafka中，在hdfs中基于历史流数据进行GDBT模型训练并根据GDBT模型对特征进行特征变换，将变换后特征与hdfs和kafka中的原始特征组合并生成新的特征，将具有新的特征的流数据分别进行离线训练和在线训练以生成推荐流数据。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于飞狐信息技术（天津）有限公司，未经飞狐信息技术（天津）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201611147453.2/，转载请声明来源钻瓜专利网。
- 上一篇：一种基于主题模型的新闻热点检测方法
- 下一篇：一种文档在线预览方法及系统
