[发明专利]一种基于Spark流式分类的电力窃电用户识别方法在审
| 申请号： | 201910265689.3 | 申请日： | 2019-04-03 |
| 公开（公告）号： | CN110119421A | 公开（公告）日： | 2019-08-13 |
| 发明（设计）人： | 吴晟;舒珏淋 | 申请（专利权）人： | 昆明理工大学 |
| 主分类号： | G06F16/25 | 分类号： | G06F16/25;G06F8/41;G06F9/445;G06F16/2455;G06Q50/06 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 650093 云*** | 国省代码： | 云南;53 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种基于Spark流式分类的电力窃电用户识别方法。本发明利用Nginx实时收集来自电力系统的用户数据，并把全部数据传输至kafka集群队列。Spark Streaming会实时消费kafka集群队列里的数据，将数据读取出进行数据的预处理，并用Spark机器学习库MLlib实现决策树算法对窃电用户数据进行自动识别。经过Spark Streaming实时计算程序分析，将结果写入到Hbase数据库，可以实时获取窃电用户。本发明能够实时的处理来自电力系统的大量用户数据，具有高强度的容错性和实时性，并通过Spark MLlib库的决策树模型准确实时的识别出窃电用户。 | ||
| 搜索关键词： | 窃电用户 用户数据 电力系统 集群 流式 队列 预处理 决策树模型 决策树算法 程序分析 机器学习 实时获取 实时计算 实时收集 数据传输 数据读取 自动识别 容错性 实时性 分类 窃电 写入 数据库 并用 | ||
【主权项】：
1.一种基于Spark流式分类的电力窃电用户识别方法，其特征在于：通过Nginx集群作为数据采集系统，不断的接收来自电力系统的用户数据流，利用Kafka集群作为消息缓存队列服务器，接收Nginx传过来的用户数据流，通过Spark Streaming把从Kafak集群接收来的实时用户数据流分成多个数据块存放在内存里，并在间隔时间内对内存中的数据块进行批处理，Spark通过算子对离散流进行数据的预处理，并把分析处理结果写入到Hbase数据库里，利用Spark的机器学习库MLlib对Hbase数据库里的数据实现决策树建模，识别出窃电用户，并通过echarts进行可视化。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于昆明理工大学，未经昆明理工大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910265689.3/，转载请声明来源钻瓜专利网。
- 上一篇：数据编配平台管理
- 下一篇：小微信贷租户数据仓库数据处理系统及设备
