[发明专利]一种基于大数据的PAS用户画像分析系统及其方法

说明书

本发明公开了一种一种基于大数据的PAS用户画像分析系统及其方法，该基于大数据的PAS用户画像分析系统及其方法包括如下步骤：P1、数据采集；P2、特征显示；P3、样本处理；P4、建立模型；P5、模型训练与优化；P6、应用分析；P7、数据服务和开放展示；P8、数据库建立与备份。本发明提供的一种基于大数据的PAS用户画像分析系统及其方法通过网络大数据进行数据采集，保证样本源的广泛性，可以有效提高样本清晰度，保证画像准确度，同时进行数据关联存储和开放，能够进一步支撑多纬度科技用户画像的自动构建，并利用可视化技术实现多维度用户画像的灵活展示与服务，利于使用和推广。

技术领域

本发明涉及画像分析技术领域，尤其涉及一种基于大数据的PAS用户画像分析系统及其方法。

背景技术

随着社会的发展与进步，用户画像的构建越来越重要，用户画像能够利用数据的多维度视图，客观真实的反映出用户的行为轨迹、习惯特点及服务需求等，为各领域的服务能力提升，数据分析的挖掘提供了必要的技术支撑。

当前科技领域用户画像构建方法核心是收集并梳理数据，开展用户画像建模与分析，但是现有的方式在数据采集和处理时，样本源比较小，不利于真实反应客观状态，而且对于数据的预处理方式过于简单，不利于提高样本精度，同时在进行建模分析时，多是简单的采用人工打标签的方式，不仅耗费人力较大，而且标签与实际偏好的准确度不高，使用效果不理想。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于大数据的PAS用户画像分析系统及其方法。

为了实现上述目的，本发明采用了如下技术方案：

一种基于大数据的PAS用户画像分析系统及其方法，该基于大数据的PAS用户画像分析系统及其方法包括如下步骤：

P1、数据采集：通过互联网的数据采集渠道进行数据采集，利用互联网大数据进行充分的分析与处理；

P2、特征显示：分析并处理数据，选择能准确描述网络状态和用户行为的特征，生成采样样本进行数据显示；

P3、样本处理：对于数据层采样样本进行过采样或欠采样处理，对于算法层采样样本进行代价敏感和集成学习处理；

P4、建立模型：建立用户数据模型结构，完成全过程用户画像数据的关联与存储；

P5、模型训练与优化：采用多分类模型和二分类模型相结合，并且分析模型是过拟合或欠拟合，并对模型进行优化；

P6、应用分析：对数据画像模型得到的结果进行分析，并将分析结果可视化呈现给网络管理员；

P7、数据服务和开放展示：通过画像识别功能定义出以数据实体为中心的不同画像体系，最后通过可视化组件定义用户画像的图集进行数据开放；

P8、数据库建立与备份：重复执行上述步骤，以得到多个用户数据模型，建立画像模型仓库。

优选的，所述P2步骤的的特征显示还包括如下步骤：

S1、将用户根据一预设条件分为多个用户区；

S2、同时收集每个所述用户区对应的所述用户的特征数据；

S3、判断所述用户的特征数据是否需要实时处理；

S4、将特征数据送入实时消息队列中，以进行实时处理，得到所述特征数据中的所述显示特征，并将所述特征数据和所述显示特征保存一存储器。

优选的，所述P3步骤中过采样为通过增加正样本提高少数类的分类性能，欠采样为剔除负样本。

优选的，所述P5步骤的欠拟合为训练集和测试集的准确率低，进行数据清洗，增加有效特征，更换复杂的模型。