[发明专利]基于位置网的创新平台数据管理方法及系统有效
申请号: | 201210553873.6 | 申请日: | 2012-12-18 |
公开(公告)号: | CN103064670A | 公开(公告)日: | 2013-04-24 |
发明(设计)人: | 黄永峰;罗芳;郑枫;陈跻 | 申请(专利权)人: | 清华大学 |
主分类号: | G06F9/44 | 分类号: | G06F9/44;G06F17/30 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 张大威 |
地址: | 100084 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 位置 创新 平台 数据管理 方法 系统 | ||
1.一种基于位置网的创新平台数据管理方法,其特征在于,包括以下步骤:
S1:根据位置网提供的服务构建创新平台的框架,并利用Hadoop平台的HDFS与HBase将所述位置网数据库的数据信息及用户操作的信息转移存储到创新平台的框架上并进行数据挖掘统计构建创新平台;
S2:利用所述创新平台提供的HDFS和HBase作为文件存储和数据库存储的支撑,并利用平台配置参数和表的路径参数封装用户访问的API,通过云主机对文件系统和数据库进行操作和管理;以及
S3:根据所述创新平台提供的存储平台对MapReduce编程框架对常用的关系代数算法和数据挖掘算法进行封装,提供云端开发环境,并利用所述框架对常见分布式算法进行封装形成插件,为用户数据提供计算处理能力。
2.如权利要求1所述的基于位置网的创新平台数据管理方法,其特征在于,所述步骤S1具体包括:
S11:在所述位置网提供的服务器平台上申请云服务器的使用;
S12:将所述位置网的位置和服务数据转移到创新平台的数据库中;
S13:对所述转移数据根据不同数据挖掘算法进行数据分析;以及
S14:将所述分析数据进行统计并显示。
3.如权利要求1所述的基于位置网的创新平台数据管理方法,其特征在于,所述步骤S2进一步包括:
S21:搭建支撑底层存储与计算的Hadoop平台,其中,所述Hadoop平台包括HDFS、MapReduce和HBase;
S22:整合Hadoop平台提供的所述HDFS和HBase相关的API;
S23:将所述API进行二次开发和封装;以及
S24:调用所述封装的API生成数据存储管理界面对用户数据进行存储和管理。
4.如权利要求1所述的基于位置网的创新平台数据管理方法,其特征在于,所述步骤S3具体包括:
S31:对关系代数和数据挖掘算法采用MapReduce框架实现并进行封装形成插件;
S32:封装集成基于Hadoop的分布式开发环境;以及
S33:根据所述插件和集成平台对用户数据进行处理。
5.如权利要求1-4所述的基于位置网的创新平台数据管理方法,其特征在于,所述HDFS和HBase作为底层的存储支持,以所述HDFS和HBase提供的API接口作为数据操作与管理接口的调用接口,并基于MapReduce框架的封装算法插件及开发接口提供用户数据的处理和计算。
6.一种基于位置网的创新平台数据管理系统,其特征在于,包括:
创建模块,用于根据位置网的提供服务构建创建平台的框架,并利用HDFS与HBase将所述位置网数据库的数据信息及用户操作的信息转移存储到创新平台的框架上构建创新平台;
封装模块,用于利用所述创新平台提供的HDFS和HBase作为文件存储和数据库存储的支撑,并利用平台配置参数和表的路径参数封装用户访问的API,通过云主机对文件系统和数据库进行操作和管理;以及
插件模块,用于根据所述创新平台提供的存储平台对MapReduce编程框架对常用的关系代数算法和数据挖掘算法进行封装,提供云端开发环境,并利用所述框架对常见分布式算法进行封装形成插件,为用户数据提供计算处理能力。
7.如权利要求6所述的基于位置网的创新平台数据管理系统,其特征在于,所述创建模块具体包括:
申请单元,用于在所述位置网提供的服务器平台上申请云服务器的使用;
转移单元,用于将所述位置网的位置和服务数据转移到创新平台的数据库中;
分析单元,用于对所述转移数据根据不同数据挖掘算法进行数据分析;以及
统计显示单元,用于将所述分析数据进行统计并显示。
8.如权利要求6所述的基于位置网的创新平台数据管理系统,其特征在于,所诉封装模块具体包括:
搭建单元,用于搭建支撑底层存储与计算的Hadoop平台,其中,所述Hadoop平台包括HDFS、MapReduce和HBase;
整合单元,用于整合Hadoop平台提供的所述HDFS和HBase相关的API;
封装单元,用于将所述API进行二次开发和封装;以及
操作管理单元,用于调用所述封装的API生成数据存储管理界面对用户数据进行存储和管理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201210553873.6/1.html,转载请声明来源钻瓜专利网。