[发明专利]基于热数据的用户画像生成方法、装置、设备及存储介质

权利要求书

1.一种基于热数据的用户画像生成方法，其特征在于，所述基于热数据的用户画像生成方法包括：

通过日志接收工具Flume接收用户行为数据；

通过实时流框架StructuredStreaming将所述用户行为数据以数据帧的格式转化为第一数据流；

对所述第一数据流重新分区，得到第二数据流，所述第二数据流包括用户编号；

计算所述第二数据流中的用户编号长度，判断所述用户编号长度是否满足预置长度；

若所述用户编号长度满足预置长度，则判断所述第二数据流的参数是否非空；

若所述第二数据流的参数非空，则记录所述第二数据流中每个数据出现的频率和每个数据两次出现间的时间间隔，并基于所述第二数据流中每个数据出现的频率和每个数据两次出现间的时间间隔，按照预设规则将所述数据缓存至分布式开源数据库HBase的存储单元hfile中，其中，所述存储单元hfile用于存储热数据和冷数据；

从所述存储单元hfile中获取热数据，并根据所述热数据计算实时用户兴趣得分；

根据所述实时用户兴趣得分获取用户兴趣标签，基于所述用户兴趣标签生成用户画像。

2.如权利要求1所述的基于热数据的用户画像生成方法，其特征在于，所述通过实时流框架StructuredStreaming将所述用户行为数据以数据帧的格式转化为第一数据流，包括：

通过实时流框架StructuredStreaming接收所述用户行为数据；

通过实时流框架StructuredStreaming中的流处理模块将所述用户行为数据由字符串格式的数据转化为数据帧dataframe格式的第一数据流。

3.如权利要求1所述的基于热数据的用户画像生成方法，其特征在于，若所述第二数据流的参数非空，则记录所述第二数据流中每个数据出现的频率和每个数据两次出现间的时间间隔，并基于所述第二数据流中每个数据出现的频率和每个数据两次出现间的时间间隔，按照预设规则将所述数据所缓存至分布式开源数据库HBase的的存储单元hfile中，其中，所述存储单元hfile用于存储热数据和冷数据，包括：

判断将第二数据流缓存进分布式开源数据库HBase的时间点是否在预设时间段内；

若将第二数据流缓存进分布式开源数据库HBase的时间点在预设时间段内，则通过轮询的方式统计所述第二数据流的每个数据在所述HBase中的历史出现频率，其中，所述历史出现频率包括：在存储热数据的存储单元hfile中出现的第一频率和在存储冷数据的存储单元hfile中出现的第二频率；

判断所述第一频率是否大于或等于所述第二频率；

若所述第一频率大于或等于所述第二频率，则将所述第二数据流缓存到HBase的用于存储热数据的存储单元hfile中；

若所述第一频率小于所述第二频率，则将所述第二数据流缓存到HBase的用于存储冷数据的存储单元hfile中。

4.如权利要求1所述的基于热数据的用户画像生成方法，其特征在于，所述从所述存储单元hfile中获取热数据，并根据所述热数据计算实时用户兴趣得分，包括：

从存储热数据的存储单元hfile中拉取热数据；

通过以下公式计算实时用户兴趣得分:

其中，S为实时用户兴趣得分，h_i为第i种热数据，i≤n，W_i为第i种热数据对应的预置热数据权重，热数据为在预设时间段内出现的且出现的第一频率大于或等于第二频率的数据。

5.如权利要求1所述的基于热数据的用户画像生成方法，其特征在于，在所述通过日志接收工具Flume接收用户行为数据之前，还包括：

在实时流框架StructuredStreaming的驱动节点拉取存储在分布式文件系统HDFS上的相关配置文件，其中，所述驱动节点部署有广播变量；

通过广播变量将所述配置文件的信息广播到各个执行节点的内存。