[发明专利]一种基于用户浏览轨迹推的大数据建模系统

权利要求书

1.一种基于用户浏览轨迹推的大数据建模系统，其特征在于，包括：

应用层，将各业务系统通过各终端基于BI实时上报用户行为作为维度数据，并将维度数据存储于mysql、oracle、mongodb数据库中；

数据层，将各业务系统的维度数据通过Kafka作为统一采集平台的消息管理层，采集汇总到总数据仓库oracle中；

清洗过滤层，将总数据仓库oracle中的数据进行清洗、沉淀、标注、归类、纠错来重新规范化数据源，并进行全新定义、颗粒化、索引；

AI数据中台，提供底层的服务架构，将清洗过滤层处理后的数据进行数据建模分析，为服务层提供底层维度数据；

服务层，为各业务系统提供维度数据作为业务支撑。

2.根据权利要求1所述的一种基于用户浏览轨迹推的大数据建模系统，其特征在于，所述清洗过滤层先通过python处理总数据仓库oracle中部分异常数据源，再采用Hive作为数据清洗引擎，将用户行为及上下文模型数据进行推理，进行数据预处理、加工、整合。

3.根据权利要求1所述的一种基于用户浏览轨迹推的大数据建模系统，其特征在于，所述AI数据中台中所述数据分析包括数据预处理和数据建模分析，所述数据预处理是从海量数据中提取可用特征，用Impala做数据预处理；所述数据建模分析是针对数据预处理提取的特征，用的机器学习算法包括决策树、协同过滤。

4.根据权利要求1所述的一种基于用户浏览轨迹推的大数据建模系统，其特征在于，所述AI数据中台通过多个服务器搭建Hadoop集群，Hadoop集群的框架核心为HDFS和MapReduce，HDFS是一个高度容错性系统，提高吞吐量的数据访问，同时利用了Impala的开源组件；通过Sqoop将数据从mysql、oracle、mongodb数据库中导入Hive；通过Zookeeper提供数据同步服务，Impala是对hive对一个补充，可以实现高效的sql查询。

5.根据权利要求4所述的一种基于用户浏览轨迹推的大数据建模系统，其特征在于，所述AI数据中台，包括：

兴趣源模块，基于MapReduce的数据预处理与聚合模块，用于对用户行为、实时上下文信息采用MapReduce并行模型进行预处理与聚合，得到对结果放入HBbase数据表中，利用Hive对HBase中的用户行为及上下文模型数据进行推理，找出感兴趣数据源；

马尔科夫模型模块，用户行为的浏览信息利用马尔科夫推荐模型建立模块，依据用户浏览轨迹补全后的结果建立马尔科夫转移矩阵，并将该矩阵存放到HBase表中，依据用户兴趣源中数据，利用余玄因子法计算出每个用户兴趣相似度，构成兴趣相似度矩阵，集合马尔科夫转移矩阵建立基于协同过滤的马尔科夫推荐模型；

画像算法模块，画像算法将会对用户分成三种情况考虑，即根据用户访问数量多少，分为冷启动用户、低频访问用户和高频访问用户，并用于精确营销；

推荐算法模块，采用SLIM算法得到了一个的用户预测矩阵R，对每个用户根据预测矩阵R得到目标用户对各个业务的预测评分，将评分较高的业务推测给用户。

6.根据权利要求5所述的一种基于用户浏览轨迹推的大数据建模系统，其特征在于，

所述冷启动用户，采用默认标签，默认标签可以根据popularity来选择；

所述低频访问用户，包括根据历史数据将用户聚类；根据该用户少数的访问寻找聚类中心；将聚类中心的标签作为该用户可能的标签；

所述高频访问用户，采用频次统计的方法，输出该用户的精准画像。