[发明专利]一种实时画像数据计算方法及系统在审
| 申请号： | 201810983596.X | 申请日： | 2018-08-27 |
| 公开（公告）号： | CN109284195A | 公开（公告）日： | 2019-01-29 |
| 发明（设计）人： | 黄剑文;冯歆尧;王国瑞;江疆;萧展辉;陈宋;毛莉萍;钱正浩;杨秋勇;苏华权;丘荣恭;孟禹 | 申请（专利权）人： | 广东电网有限责任公司信息中心 |
| 主分类号： | G06F9/54 | 分类号： | G06F9/54;G06F16/58;G06F16/51 |
| 代理公司： | 广州市华学知识产权代理有限公司 44245 | 代理人： | 林梅繁 |
| 地址： | 510080 广东省广州*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及画像数据的计算技术，具体涉及实时画像数据计算方法及系统，其方法包括：对日志数据进行实时采集、解析，形成数据采集链接；根据数据采集链接，按照数据类型对采集的日志数据进行划分，形成有序消息队列，将所采集的日志数据作为Kafka消息源，利用Kafka消息队列的异步通信机制将各层之间解耦转发出去；使用Strom集群，基于画像标签的计算规则实时计算数据流，输出实时画像标签；对计算输出的实时画像存储，供查询并返回数据，对短期查询的实时数据缓存，供短期高频查询使用；接收数据查询请求，调度处理数据，对实时画像标签数据有效整理，返回实时画像数据并可视化展示。本发明提高了实时画像数据的计算输出效率。 | ||
| 搜索关键词： | 画像数据 日志数据 画像 计算方法及系统 数据采集 消息队列 查询 链接 标签 采集 缓存 异步通信机制 数据流 输出 标签数据 查询请求 调度处理 返回数据 计算规则 接收数据 实时采集 实时计算 实时数据 输出效率 数据类型 可视化 消息源 集群 解耦 解析 存储 转发 返回 展示 | ||
【主权项】：
1.一种实时画像数据计算方法，其特征在于，包括步骤：S1、实时数据采集，对日志数据进行实时采集，并对所采集的日志数据进行解析，形成数据采集链接；S2、实时数据转发，根据数据采集链接，按照数据类型对采集的日志数据进行划分，形成有序消息队列；其中，将所采集的日志数据作为Kafka消息源，放进Kafka消息队列中，利用Kafka消息队列的异步通信机制将各层之间解耦转发出去，实现数据的分类管理和高并发接入；S3、实时数据计算，根据有序消息队列，使用Strom集群，基于画像标签的计算规则实时计算数据流，输出实时画像标签；S4、实时数据存储，对计算输出的实时画像存储，供客户端根据具体业务情形查询并返回数据，同时针对短期查询的实时数据进行应用缓存，供短期高频查询使用；S5、实时数据展示，接收客户端的数据查询请求，根据数据查询请求调度处理数据，对实时画像标签数据有效整理，返回实时画像数据并可视化展示。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广东电网有限责任公司信息中心，未经广东电网有限责任公司信息中心许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810983596.X/，转载请声明来源钻瓜专利网。
