[发明专利]基于热数据的用户画像生成方法、装置、设备及存储介质

说明书

本发明涉及大数据技术领域，公开了一种基于热数据的用户画像生成方法，包括以下步骤：通过实时流框架StructuredStreaming将所述用户行为数据以数据帧的格式转化为第一数据流；对第一数据流重新分区，得到第二数据流，所述第二数据流包括用户编号；计算所述第二数据流中的用户编号长度，判断用户编号长度是否满足预置长度；若是，则判断第二数据流的参数是否非空；若是，则基于所述第二数据流中每个数据出现的频率和每个数据两次出现间的时间间隔将数据分为冷热数据；基于热数据生成用户画像。本发明还提供了一种基于热数据的用户画像生成装置、设备及存储介质，本发明提供的基于热数据的用户画像生成方法提高了用户画像的时效性。

技术领域

本发明涉及大数据技术领域，尤其涉及一种基于热数据的用户画像生成方法、装置、设备及存储介质。

背景技术

随着移动互联网的发展，各种网站、手机应用软件对于个性化的需求逐渐提高。个性化的给用户提供服务更能精准的触达用户的需求。现行的用户画像系统主要采用离线处理的方式进行手机用户的基础信息(如：年龄、性别等)或者通过模型分析出用户的消费能力。

发明人意识到离线的用户画像系统不具备实时性，并且其采用传统的服务器方式开发部署，扩展性、容错性较差。一些实时的用户画像系统也没有基于目前领先的大数据处理技术，导致其不能支持逐渐增大的海量数据，也不能有效的与其他系统耦合。近期基于批处理框架SparkStreaming的实时日志处理、用户画像系统属于mini batch(迷你批处理)的批处理方式，有一定的延时，并且代码结构复杂，相当于开发人员亲自重复了目前标准的数据框(dataframe)处理方式，使得离线与实时不能共用一套代码，造成二次开发的问题。

此外，SparkStreaming是基于Spark 1.6版本开发，版本较低与一些近期更新的组件并不能很好的兼容。例如，SparkStreaming是基于JAVA7版本，而StructuredStreaming则基于JAVA8版本，使得一些高性能的接口不能使用，因此会造成用户画像时效性低。

发明内容

本发明的主要目的在于提供一种基于热数据的用户画像生成方法、装置、设备及存储介质，旨在解决现有的用户画像时效性低的技术问题。

通过日志接收工具Flume接收用户行为数据；

通过实时流框架StructuredStreaming将所述用户行为数据以数据帧的格式转化为第一数据流；

对所述第一数据流重新分区，得到第二数据流，所述第二数据流包括用户编号；

计算所述第二数据流中的用户编号长度，判断所述用户编号长度是否满足预置长度；

若所述用户编号长度满足预置长度，则判断所述第二数据流的参数是否非空；

若所述第二数据流的参数非空，则记录所述第二数据流中每个数据出现的频率和每个数据两次出现间的时间间隔，并基于所述第二数据流中每个数据出现的频率和每个数据两次出现间的时间间隔，按照预设规则将所述数据所缓存至分布式开源数据库HBase的的存储单元hfile中，其中，所述存储单元hfile用于存储热数据和冷数据；

从所述存储单元hfile中获取热数据，并根据所述热数据计算实时用户兴趣得分；

根据所述实时用户兴趣得分获取用户兴趣标签，基于所述用户兴趣标签生成用户画像。

可选的，所述通过实时流框架StructuredStreaming将所述用户行为数据以数据帧的格式转化为第一数据流，包括以下步骤：

通过实时流框架StructuredStreaming接收所述用户行为数据；