[发明专利]一种大数据存储优化方法在审
| 申请号： | 201811528694.0 | 申请日： | 2018-12-13 |
| 公开（公告）号： | CN109669987A | 公开（公告）日： | 2019-04-23 |
| 发明（设计）人： | 王芳;李宏峰;周茜;王晓甜;贺子洋;李冲;陈朝晖;崔江洪;石磊;甄纲;路磊;赵利军;黄朝霞;李昕;李云龙;范盛荣;刘国平 | 申请（专利权）人： | 国网河北省电力有限公司石家庄供电分公司;国网河北省电力有限公司;国家电网有限公司;武汉盛捷达电力科技有限责任公司 |
| 主分类号： | G06F16/27 | 分类号： | G06F16/27;G06F16/22;H04L29/08 |
| 代理公司： | 石家庄新世纪专利商标事务所有限公司 13100 | 代理人： | 陈建民;董金国 |
| 地址： | 050000 *** | 国省代码： | 河北;13 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种大数据存储优化方法，其将检测数据在RDD中进行分布式存储；将数据以RDD的方式分布式存储在Spark集群的数据节点中，然后基于Spark进行并行化KNN算法；本发明在HDFS基础上，建立分布式的面向列的数据库HBase，用于海量监测数据的存储和管理。监测数据在分布式系统中的数据分布策略，使用分布式系统进行数据存储和并行处理即数据的分布策略提升数据处理的效率。 | ||
| 搜索关键词： | 分布式存储 分布式系统 存储优化 监测数据 大数据 存储和管理 并行处理 分布策略 检测数据 数据存储 数据分布 数据节点 数据处理 并行化 集群 数据库 | ||
【主权项】：
1.一种大数据存储优化方法，其特征在于其包括如下步骤：步骤一、将检测数据在RDD中进行分布式存储；将数据以RDD的方式分布式存储在Spark集群的数据节点中；步骤二、基于Spark进行并行化KNN算法。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于国网河北省电力有限公司石家庄供电分公司;国网河北省电力有限公司;国家电网有限公司;武汉盛捷达电力科技有限责任公司，未经国网河北省电力有限公司石家庄供电分公司;国网河北省电力有限公司;国家电网有限公司;武汉盛捷达电力科技有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811528694.0/，转载请声明来源钻瓜专利网。
