[发明专利]一种云计算的电子商务用户行为数据分析技术

说明书

技术领域

云计算是一种互联网技术领域，本次用来分析电子商务用户的行为。

背景技术

随着移动互联网的迅速发展，用户行为分析而临着新的挑战:一是移动互联网新业务、新产品“短、平、快”的特征，要求运营商支持快速变化的营销活动;二是随着移动互联网业务及终端、传感器技术发展带来的数据量的急剧膨胀，需要分析和处理的数据规模从GB级迈向TB级甚至PB级，传统的数据分析架构已经不能适应这种海量数据处理和快速、深度挖掘的需求，迫切需要引入大规模并行处理技术和分布式架构，构建基于云计算的移动互联网用户行为分析系统.以应对移动互联网大数据时代的挑战。

发明内容

本次设计的电子商务用户行为分析通过云计算技术实现分布式并发的大规模计算能力，构建电子商务端到端的大数据挖掘分析系统，实现对DPI和应用平台用户上网行为的偏好分析，提供个性化推荐服务，打通从数据采集,分析到服务提供。

电子商务用户行为大数据采集入库，电子商务用户行为分析引擎的数据来源主要有两类:应用平台数据和DPI数据；两类数据源的特点不同，针对上述不同的数据源特点，系统采用不同的技术方案，具体介绍如下:

(1)应用平台数据入库，应用平台采用每天批量入库一次的方式，文件大小为GB级，大文件的入库，适合Hadoop平台的使用场景，考虑到使用MapReduce分布式处理的Hbase入库方式效率不高，系统对该方式进行了优化，采用MapReduce分布式处理结合批量入库的方式；由于Hadoop通常使用的TextInputFormat类，在map中读取到的是文件的一行记录，因此，系统使用NLineInputFormat类实现在MapReduce中的批量入库，通过使用NLineInputFormat类，每个分片有N行记录，通过参数的配置，每次可读取文件的N行记录，那么可以在map中直接执行批量入库的操作，效率相对较高；

(2)DPI数据入库，由于DPI的行为数据是大量来源频率很快的小文件，针对DPI数据的特征，采用Hadoop平台的CombineFileInputFormat类方式，即通过继承CombineFileInputFormat，实现CreateRecordReader，同时设置数据分片的大小，通过这种方式实现DPI大数据的入库。

用户行为分析技术：1、个性化推荐分析,基于内容推荐的算法分3个部分完成，每个部分的操作如下:

(1)计算用户对内容的偏好度，map函数:从Hba、中读取用户行为数据，组合相关的数据，kev为用户ID , val，为用户浏览过的内容信息(如衣服、电器等)；reduce函数:获取每个用户所有的行为信息，计算用户对内容的偏好度，kev为用户ID+内容ID,val，为内容偏好度；

(2)job2:计算用户对内容属性的偏好度，map函数:读取内容偏好度信息传给reduce函数。kev为用户ID ，value为内容ID+内容偏好度；reduce函数:计算每个用户的内容属性偏好度；

(3)job3:计算基于内容的推荐列表，map函数:获取用户内容属性偏好度和用户内容偏好度，kev为用户ID , value为属性偏好度+内容偏好度，reduce函数:计算推荐列表；

2, 多数据关联分析:对用户的电子商务平台的行为进行关联分析，判断DPI用户上网行为偏好与在应用平台上的行为偏好是否存在关联关系，采用关联算法找出其中存在的规则，并将规则固化到系统中，从而有助于交叉营销。