[发明专利]快速迁移多源异构电网大数据到HBase的方法及系统有效
| 申请号： | 201610982635.5 | 申请日： | 2016-11-08 |
| 公开（公告）号： | CN106528786B | 公开（公告）日： | 2019-07-12 |
| 发明（设计）人： | 林颖;牛进苍;苏建军;李冬;郭志红;陈玉峰;祝永新;盛戈皞;李勇;吴观斌;杨祎;朱城铠;刘斌;王畅;马艳;李程启;耿玉杰;白德盟;石鑫 | 申请（专利权）人： | 国网山东省电力公司电力科学研究院;上海交通大学;国家电网公司 |
| 主分类号： | G06F16/21 | 分类号： | G06F16/21;G06F16/22;G06F16/27;G06F16/28 |
| 代理公司： | 济南圣达知识产权代理有限公司 37221 | 代理人： | 黄海丽 |
| 地址： | 250002 山东*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了快速迁移多源异构电网大数据到HBase的方法及系统；包括如下步骤：连接电网数据库与HBase数据平台；电网数据库中的每一条数据均存在唯一的标识ID，电网数据库中的每一条数据均由标识ID+数据内容组成；根据唯一的标识ID建立ID映射表；选定数据源后，读取ID映射表，将ID映射表写入内存，ID映射表常驻内存；将ID映射表中的编码分别进行编码压缩，分别形成数据类ID行键和数据类内部ID行键；将数据类ID行键和数据类内部ID行键转化为字节数组；将数据类ID行键和数据类内部ID行键以及HBase的列名称qualifier按字节形式写入HBase表中。本发明实现了复杂的电力数据格式进行快速迁移。 | ||
| 搜索关键词： | 快速 迁移 多源异构电 网大 数据 hbase 方法 系统 | ||
【主权项】：
1.快速迁移多源异构电网大数据到HBase的方法，其特征是，包括如下步骤：步骤(1)：连接电网数据库与HBase数据平台；电网数据库中的每一条数据均存在唯一的标识ID，电网数据库中的每一条数据均由标识ID和数据内容组成；步骤(2)：根据唯一的标识ID建立ID映射表，所述ID映射表包括包括数据类ID映射表和数据类内部ID映射表，将数据类ID映射表和数据类内部ID映射表存储在第二Oracle数据库当中；数据类ID映射表包括：数据类ID、数据类ID编码和数据类ID备注；数据类内部ID映射表包括：数据类内部ID和数据类内部ID编码；步骤(3)：对数据源进行选择识别，选定数据源后，读取第二Oracle数据库当中的数据类ID映射表和数据类内部ID映射表，将数据类ID映射表和数据类内部ID映射表写入内存，数据类ID映射表和数据类内部ID映射表常驻内存；步骤(4)：将数据类ID映射表中的数据类ID编码和数据类内部ID映射表中的数据类内部ID编码分别进行编码压缩，分别形成数据类ID行键和数据类内部ID行键；步骤(5)：将数据类ID行键和数据类内部ID行键转化为字节数组；步骤(6)：将数据类ID行键和数据类内部ID行键以及HBase的列名称qualifier按字节形式写入HBase表中。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于国网山东省电力公司电力科学研究院;上海交通大学;国家电网公司，未经国网山东省电力公司电力科学研究院;上海交通大学;国家电网公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610982635.5/，转载请声明来源钻瓜专利网。
