[发明专利]一种实时画像数据计算方法及系统

说明书

本发明涉及画像数据的计算技术，具体涉及实时画像数据计算方法及系统，其方法包括：对日志数据进行实时采集、解析，形成数据采集链接；根据数据采集链接，按照数据类型对采集的日志数据进行划分，形成有序消息队列，将所采集的日志数据作为Kafka消息源，利用Kafka消息队列的异步通信机制将各层之间解耦转发出去；使用Strom集群，基于画像标签的计算规则实时计算数据流，输出实时画像标签；对计算输出的实时画像存储，供查询并返回数据，对短期查询的实时数据缓存，供短期高频查询使用；接收数据查询请求，调度处理数据，对实时画像标签数据有效整理，返回实时画像数据并可视化展示。本发明提高了实时画像数据的计算输出效率。

技术领域

本发明涉及画像数据的计算技术，具体涉及一种实时画像数据计算方法及系统。

背景技术

随着大数据应用技术发展，企业在各个业务应用端产生了大量非结构化和半结构化数据，积累了海量数据。客户画像标签快速分析是企业的重要数据资产转化价值方式之一，可以帮助企业根据用户行为数据，分析客户特征，获取客户实时画像标签。

在构建用户画像的过程中，一般基于历史数据离线计算或者Hadoop的批处理系统进行计算，输出历史画像标签或者准实时标签。

在企业的客户服务中，大多数话务场景需要实时了解用户的背景现状与行为属性，画像技术在客服应用中，具有低延迟、增量计算的需求。但是无论针对上述哪种客户画像数据，均需等待一定时长后，才能构建用户画像，所以时效性较差。同时在构建用户画像时需进行海量数据的批量处理，处理过程耗时长、过程复杂且计算量大。因此，当前大多数画像构建方法存在实时画像标签输出低效、不及时的缺陷，难以向客户服务业务提供实时画像标签，帮助话务人员及时了解客户属性。

综上，本发明人认为，有必要提出一种基于Storm技术的流式计算方法与系统，实时地计算日志数据，提高实时画像输出效率。

发明内容

为了解决现有技术所存在的问题，本发明提供一种实时画像数据计算方法，采用三级集群服务器计算海量业务数据并输出实时画像标签，提高了实时画像数据的计算输出效率。

本发明还提供一种实时画像数据计算系统。

本发明的实时画像数据计算方法，包括步骤：

S1、实时数据采集，对日志数据进行实时采集，并对所采集的日志数据进行解析，形成数据采集链接；

S2、实时数据转发，根据数据采集链接，按照数据类型对采集的日志数据进行划分，形成有序消息队列；其中，将所采集的日志数据作为Kafka消息源，放进Kafka消息队列中，利用Kafka消息队列的异步通信机制将各层之间解耦转发出去，实现数据的分类管理和高并发接入；

S3、实时数据计算，根据有序消息队列，使用Strom集群，基于画像标签的计算规则实时计算数据流，输出实时画像标签；

S4、实时数据存储，对计算输出的实时画像存储，供客户端根据具体业务情形查询并返回数据，同时针对短期查询的实时数据进行应用缓存，供短期高频查询使用；

S5、实时数据展示，接收客户端的数据查询请求，根据数据查询请求调度处理数据，对实时画像标签数据有效整理，返回实时画像数据并可视化展示。

优选地，在步骤S3的实时数据计算过程中，使用Strom集群创建Spout，接收Kafka消息队列数据，并以数据流的形式发送给bolt，bolt负责转化所述数据流，在bolt中完成过滤。

优选地，步骤S3中使用Storm集群对实时数据进行计算，包括如下步骤：