[发明专利]一种基于数据平台将数据导入目标目录的方法和电子设备在审
申请号: | 201910145387.2 | 申请日: | 2019-02-27 |
公开(公告)号: | CN109977157A | 公开(公告)日: | 2019-07-05 |
发明(设计)人: | 孙悦;李天驰 | 申请(专利权)人: | 深圳点猫科技有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25 |
代理公司: | 广东良马律师事务所 44395 | 代理人: | 李良 |
地址: | 518000 广东省深圳市粤海*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 引擎数据库 目标目录 数据分区 大数据 脚本文件 目标数据 电子设备 数据存储 数据平台 关系型数据库 分区规则 数据迁移 数据上传 自动生成 节约 | ||
1.一种基于数据平台将数据导入目标目录的方法,其特征在于,包括步骤:
A、通过数据迁移工具将目标数据从关系型数据库导入至大数据引擎数据库中;
B、在所述大数据引擎数据库中运行预先编辑的脚本文件,使得所述大数据引擎数据库自动生成多个数据分区,以及将所述数据分区的数据存储于所述目标目录中,其中,所述数据分区中均含有目标数据,所述脚本文件包含目标目录和分区规则。
2.根据权利要求1所述基于数据平台将数据导入目标目录的方法,其特征在于,所述步骤A中,所述数据迁移工具为sqoop。
3.根据权利要求1所述基于数据平台将数据导入目标目录的方法,其特征在于,所述步骤B中,所述脚本文件具体为包含同步命令的shell脚本文件,且所述shell脚本文件的后缀名为“sh”。
4.根据权利要求3所述基于数据平台将数据导入目标目录的方法,其特征在于,所述shell脚本文件具体包括:目标目录、关系型数据库用户名、关系型数据库密码、查询语句、执行语句、大数据引擎数据库库名、大数据引擎数据库表名、数据分区名称和数据分区值。
5.根据权利要求4所述基于数据平台将数据导入目标目录的方法,其特征在于,所述步骤B包括:
指定所述目标目录的位置,以及指定数据分区名称对应的数据值。
6.根据权利要求1所述基于数据平台将数据导入目标目录的方法,其特征在于,所述步骤B具体包括:
B1、运行所述脚本文件,以获取脚本文件中的分区规则和目标目录;
B2、根据分区规则对所述大数据引擎数据库进行分区,得到数据分区;
B3、将数据分区内的目标数据存储于所述目标目录中,完成目标数据的导入。
7.根据权利要求1所述基于数据平台将数据导入目标目录的方法,其特征在于,所述步骤B之后包括:
C、接收用户删除目标数据的指令,删除目标目录中的目标数据,以及删除所述关系型数据库中对应的目标数据。
8.一种电子设备,其特征在于,包括:
处理器,适于实现各指令,以及
存储设备,适于存储多条指令,所述指令适于由处理器加载并执行:
通过数据迁移工具将目标数据从关系型数据库导入至大数据引擎数据库中;
在所述大数据引擎数据库中运行预先编辑的脚本文件,使得所述大数据引擎数据库自动生成多个数据分区,以及将所述数据分区的数据存储于所述目标目录中,其中,所述数据分区中均含有目标数据,所述脚本文件包含目标目录和分区规则。
9.一种计算机程序产品,其特征在于,计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序,计算机程序包括程序指令,当程序指令被处理器执行时,使所述处理器执行权利要求1-7任一项所述的基于数据平台将数据导入目标目录的方法。
10.一种非易失性计算机可读存储介质,其特征在于,所述非易失性计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行时,可使得所述一个或多个处理器执行权利要求1-7任一项所述的基于数据平台将数据导入目标目录的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳点猫科技有限公司,未经深圳点猫科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910145387.2/1.html,转载请声明来源钻瓜专利网。