[发明专利]基于推荐场景的流式数据处理控频方法及系统

权利要求书

1.一种基于推荐场景的流式数据处理控频方法，其特征在于，包括：

环境获得步骤：获得可用的hadoo yarn集群或Apache Flink集群环境；

ID用户存储步骤：在控频程序中以流式方式读取消息中间件的用户行为日志，解析获得用户ID及用户物料ID，统计每个所述用户ID对应不同的时间粒度访问过的所述物料ID后，按照kv对的形式存储在高速存储引擎中；

计算扩容步骤：部署控频程序，调整task数量，进而实现计算扩容；

控频步骤：发起请求时，根据模型预测结果返回物料时读取所述kv高速缓存，以所述用户ID为key进行查询获得hash结构，通过所述hash结构及所述模型预测结果做对比到达控频效果。

2.如权利要求1所述的一种基于推荐场景的流式数据处理控频方法，其特征在于，所述ID用户存储步骤包括：

读取步骤：在控频程序中以流式方式读取所述消息中间件中的用户行为日志；

解析步骤：解析获得所述用户行为日志中的所述用户ID和所述用户物料ID；

存储步骤：使用Flink提供的算子统计每个所述用户ID对应不同的时间粒度访问过的所述用户物料ID，然后按照kv对的形式存储在高速存储引擎中。

3.如权利要求2所述的一种基于推荐场景的流式数据处理控频方法，其特征在于，所述存储步骤包括：以所述用户ID为key，以Hash结构存储时间和物料列表为value，或，以所述用户ID为key，以Hash结构存储所述用户物料ID和所述用户物料ID的访问次数为value。

4.如权利要求1所述的一种基于推荐场景的流式数据处理控频方法，其特征在于，所述计算扩容步骤包括：

将控频程序部署到集群上，根据实际的用户行为日志量级来调整task数量，进而实现计算扩容。

5.如权利要求4所述的一种基于推荐场景的流式数据处理控频方法，其特征在于，所述控频步骤包括：

读取步骤：app端向推荐服务发起请求时，根据模型预测结果返回物料时读取kv高速缓存；

hash结构获得步骤：以所述用户ID为key进行查询，获得对应所述用户ID的所述hash结构；

达到控频效果步骤：根据实际的控频策略查看任一日期中用户访问过的物料和模型预测结果，对所述用户访问过的物料和模型预测结果做对比，将用户没有看到过的物料返回给用户，达到控频效果；或者根据以所述Hash结构存储所述用户物料ID和所述用户物料ID的所述访问次数为value的方式达到按物料推荐次数的方式达到控频效果。

6.一种基于推荐场景的流式数据处理控频系统，其特征在于，包括：

环境获得模块，所述环境获得模块获得可用的hadoo yarn集群或Apache Flink集群环境；

ID用户存储模块，所述ID用户存储模块在控频程序中以流式方式读取消息中间件的用户行为日志，解析获得用户ID及用户物料ID，统计每个所述用户ID对应不同的时间粒度访问过的所述物料ID后，按照kv对的形式存储在高速存储引擎中；、；

计算扩容模块，所述计算扩容模块部署控频程序，调整task数量，进而实现计算扩容；

控频模块，所述控频模块发起请求时，根据模型预测结果返回物料时读取所述kv高速缓存，以所述用户ID为key进行查询获得hash结构，通过所述hash结构及所述模型预测结果做对比到达控频效果。。

7.如权利要求6所述的一种基于推荐场景的流式数据处理控频系统，其特征在于，所述ID用户存储单元包括：

读取模块，所述读取模块在控频程序中以流式方式读取所述消息中间件中的用户行为日志；

解析模块，所述解析模块解析获得所述用户行为日志中的所述用户ID和所述用户物料ID；

存储模块，所述存储模块使用Flink提供的算子统计每个所述用户ID对应不同的时间粒度访问过的所述用户物料ID，然后按照kv对的形式存储在高速存储引擎中。