[发明专利]一种基于图数据结构的数据映射方法在审
申请号: | 201611001980.2 | 申请日: | 2016-11-14 |
公开(公告)号: | CN108073619A | 公开(公告)日: | 2018-05-25 |
发明(设计)人: | 李筱川;张宏 | 申请(专利权)人: | 北京航天长峰科技工业集团有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100854*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 一种基于图数据结构的数据映射方法,包括:(1)根据文件存储的数据库,将文件信息到文件中,如将保存在MySQL中的先行数据导出到txt文件中;(2)通过文件创建SparkRDD,例如文件信息保存在txt中,则可以通过SparkContext读取文件生成RDD,并通过头DF()接口将RDD转换成DataFrame方便下一步计算;(3)通过DataFrame将数据存入Graphx,使用GraphX进行图计算;(4)将计算所得结果保存到HDFS中或HBASE中,或生成文本文件保存到外部系统。 | ||
搜索关键词: | 图数据结构 数据映射 文件信息 保存 文本文件 读取文件 结果保存 外部系统 文件创建 文件存储 图计算 导出 数据库 转换 | ||
【主权项】:
1.一种基于图数据结构的数据映射方法,其特征在于:(1)根据文件存储的数据库,将文件信息到文件中,如将保存在MySQL中的先行数据导出到txt文件中;(2)通过文件创建SparkRDD,例如文件信息保存在txt中,则可以通过SparkContext读取文件生成RDD,并通过头DF()接口将RDD转换成DataFrame方便下一步计算;(3)通过DataFrame将数据存入Graphx,使用GraphX进行图计算;(4)将计算所得结果保存到HDFS中或HBASE中,或生成文本文件保存到外部系统。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京航天长峰科技工业集团有限公司,未经北京航天长峰科技工业集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201611001980.2/,转载请声明来源钻瓜专利网。
- 上一篇:一种基于Solr的分布式检索方法
- 下一篇:一种基于图数据结构的快速检索方法