[发明专利]一种视频推荐系统有效
申请号: | 201910341302.8 | 申请日: | 2019-04-25 |
公开(公告)号: | CN110069714B | 公开(公告)日: | 2021-06-22 |
发明(设计)人: | 刘永才 | 申请(专利权)人: | 北京酷我科技有限公司 |
主分类号: | G06F16/9535 | 分类号: | G06F16/9535;G06F16/68;G06F16/78 |
代理公司: | 北京国标律师事务所 11753 | 代理人: | 姚克枫 |
地址: | 100080 北京市海淀区农大*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 视频 推荐 系统 | ||
1.一种视频推荐系统,其特征在于,包括:
至少两台HTTP服务器http-server,作为系统接入入口,用于接收并处理推荐请求,并返回相应的推荐数据,
HTTP服务器通过建桶,在桶中按需求添加推荐服务器,
由推荐服务器组成的推荐服务器集群,每个推荐服务器内部逻辑分为:数据分发器Deliver Server,数据召回器Recall Server,数据过滤器Filter Server,
两台历史服务器,采用主备模式,历史服务器分两类数据:
一类是模型中的数据,该类数据是从播放记录中训练统计的数据,该数据包括历史播放记录、从记录中统计的用户分数,
一类是实时数据,还没有被训练成模型的数据,
两台召回池服务器,采用主备模式,起数据缓存功能,数据召回器将召回的数据存入召回池服务器,数据过滤器从召回池服务器中获取数据;
数据分发器:接收http-server发送过来的请求信息,根据历史服务器提供的用户得分,来计算各个数据召回器要召回的数量,随后向数据召回器发送数据召回请求,
数据召回器:接收数据分发器发送过来的数据请求,数据召回器分为:使用个性化模型的个性化召回器、使用流行模型的流行召回器和使用冷数据模型的冷数据召回器,
数据过滤器:数据分发器向数据召回器发送数据后,会通知数据过滤器有数据需要召回,则从召回池服务器中获得所有数据并汇总,当所有数据汇总后,通过redis队列返回给http-server,并将召回的数据写入历史服务器;
所述数据分发器,从redis队列中读取HTTP服务器发送过来的请求信息,根据请求信息向history服务器获取该用户的打分;
根据用户的打分来推送各种召回器数据的个数,具体包括:
判断用户类型,如果用户的打分1,则用户类型为冷用户,否则为其他用户,
针对冷用户:
Wpop=1,代表热门数据推荐占比,用于命中高,全量推,
Wcf=0,代表个性化召回推荐占比,用于发觉个性化长尾,提高用户体验,
Wcold=0,代表冷数据推荐占比,用于提高多样性,预热数据,个性化信息不足时推,
针对其他用户:
Wpop=1-Wcold-Wcf,
Wcf=min(∑score/160,1-Wcold-Wpop),score为用户的打分,Wcold=0.125。
2.如权利要求1所述的视频推荐系统,其特征在于:HTTP服务器负责数据分流,总的流量按100%划分到每个桶,每个桶流量任意。
3.如权利要求1所述的视频推荐系统,其特征在于:HTTP服务器负责AB策略测试,对桶设置不同的策略,桶中的推荐服务器则执行这些策略,随后进行不同桶中数据之间的数据对比。
4.如权利要求1所述的视频推荐系统,其特征在于:所述数据分发器Deliver Server,数据召回器Recall Server,数据过滤器Filter Server间使用redis来完成远程调用。
5.如权利要求1所述的视频推荐系统,其特征在于:所述数据分发器Deliver Server,数据召回器Recall Server,数据过滤器Filter Server间采用并行处理,以实现低响应时间。
6.如权利要求1所述的视频推荐系统,其特征在于:在推荐服务器上,采用索引文件技术,直接将用户的播放历史,歌曲的相似度信息存储到磁盘,以实现减少大量内存的占用。
7.如权利要求1所述的视频推荐系统,其特征在于:建桶具体采用以下策略:
对服务器集群进行分桶,桶中添加服务器,对桶进行流量划分,根据用户ID计算1到100的哈希值,从而使用户落到指定的桶中,桶中的服务或随机选择一个,或根据不同的策略来选择一个。
8.如权利要求7所述的视频推荐系统,其特征在于:当资源不足时,采用以下策略:
添加新桶,桶中添加服务器,随后分取流量;
在桶中配置推荐系统服务器redis的IP和port,以及密码,随后通过该配置连接推荐服务器。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京酷我科技有限公司,未经北京酷我科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910341302.8/1.html,转载请声明来源钻瓜专利网。