[发明专利]一种基于大数据的用户画像和多维分析系统

说明书

本发明提供了一种基于大数据的用户画像和多维分析系统。本发明能够将用户的行为数据以实时和离线两种方式采集下来，通过大数据组件进行计算和分析，计算结果为用户画像数据，数据的组织形式是以标签为字段的宽表。并且通过倒排索引的方式组织画像数据，将这些数据的索引存储在大数据的仓库当中。Web平台将多个具体标签当作输入条件，输出统计和聚合结果。这是典型的多维数据分析场景。另外，画像数据还可以作为客户关系管理的依据。在用户价值分层、潜在高价值用户挖掘、RFM分层等方面有较好的应用。

技术领域

本发明涉及大数据应用技术领域，具体涉及一种基于大数据的用户画像和多维分析系统。

背景技术

当前，整个人类社会已经高速进入大数据时代。特别是以各种计算机或智能设备为载体，在操作系统、应用程序、网络服务当中均内置有需经授权的用户数据采集、上传和分析功能。通过汇聚海量、多样、实时的用户数据，形成超大规模的数据集合，再利用大数据计算方法，获得数据背后用户的偏好、行动规律等有价值的信息，同时将相关标签对应到相关的用户，形成画像数据。以通过大数据计算所得的画像信息为基础，能对不同的用户提供相应不同的服务，提高不同层次用户的体验，等等。

为了应对大数据时代，技术储备雄厚的公司大都选择自行开发大数据系统和处理软件，形成符合自己公司的大数据产品，这些产品中不少是关于用户画像的。例如，中国专利文献CN 107038237 A公开了一种基于大数据的用户画像系统及画像方法，用户画像系统其特征在于用户关联模块和用户画像模块，用户画像方法具体包括用户数据处理、网站数据处理，以及用户数据和网站数据的匹配。文本数据处理后，获得用户的关注点。利用这些关注点，给用户打上标签。文本数据处理单元得到的结果，作为用户标签单元的输入。可以通过分类算法：逻辑回归、决策树、朴素贝叶斯、kNN最近邻、SVM支持向量机、神经网络等给用户打上最终的标签，实现精准画像。又例如，中国专利文献CN 106547916 A公开了一种用户画像标签查询方法及装置，其将标签序列用于按照用户顺序号、采用Bitset方式、通过1或者0分别表示每个用户是否拥有相应标签，根据查询顺序结果和预设的用户顺序表，得到拥有所述欲查询标签的用户号。

多维数据分析也是大数据产品的一种应用方向。中国专利文献CN 106528787 A则公开了一种基于海量数据多维分析的查询方法及装置，方法包括：接收用户发送的携带有待查询的维度信息的查询请求，根据该维度信息，在预先建立的subcube表中查询该维度信息对应的数据，当查询到该维度信息对应的数据，则将数据返回给用户，当未查询到该维度信息对应的数据，则在预先建立的cube表中查询该维度信息对应的数据，将数据返回给用户，并将该维度信息包含的维度名作为维度组合进行采集，其中，该subcube表由cube表中的部分列合成。通过上述方法，subcube表中的行数是少于cube表中的行数的，用户先在预先建立的subcube表中进行查询，这样可以有效地提高查询的效率，并且，subcube表只是列举出部分维度的维度组合，而无需穷举出所有的维度组合，这样有效地降低计算量。又例如，中国专利文献公开了一种基于大数据的数据多维分析处理方法，包括如下步骤：（1）自动化连接各业务系统抽取业务数据，将所述业务数据存储至业务数据层；（2）自动化连接所述业务数据层，按业务主题流程转换清理所述业务数据，形成具有业务主题信息的事实表和维度表；（3）将所述事实表与维度表按分析主题组合为立方体；（4）选择所述立方体进行多维数据分析处理。通过对业务数据的进一步转换清理后，可以过滤掉无效数据，汇总需要的数据以降低明细数据量，并且按数据库来有效索引，极大地提高数据的查询性能。

可见，将大数据分析应用于用户画像的现有技术当中，大都是以行为数据的采集为基础，进而，统计分析这些行为数据包含的规律，主要以时序条件为统计基准，获得以用户id为key值的画像数据，再通过画像数据的分析挖掘获得行为偏好，进而进行针对性的用户关系管理，譬如用户价值分层维护、潜在高价值用户的挖掘、用户RFM分层、用户行为预测等等。