[发明专利]一种基于Hue实现数据加载的方法,系统,设备及可读存储介质在审

专利信息
申请号: 201911372614.1 申请日: 2019-12-27
公开(公告)号: CN111708751A 公开(公告)日: 2020-09-25
发明(设计)人: 王震;邓华;汪友杰;崔龙;薛念明;周志勇;王浩;颜康;许聪;刘姝邑;宋天航;张丽萍;禚俊杰;高建峰;刘涛 申请(专利权)人: 山东鲁能软件技术有限公司
主分类号: G06F16/21 分类号: G06F16/21;G06F16/25
代理公司: 济南舜源专利事务所有限公司 37205 代理人: 张亮
地址: 250000 山*** 国省代码: 山东;37
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 hue 实现 数据 加载 方法 系统 设备 可读 存储 介质
【权利要求书】:

1.一种基于Hue实现数据加载的方法,其特征在于,方法包括:

步骤一,在大数据平台上添加Hue模块以及Oozie服务模块;

步骤二,通过Hue模块配置管理节点;

步骤三,基于管理节点调取EXT模块,将EXT模块下的目录及所述目录下所有文件的用户名及用户组配置为支持oozie服务操作的端口;

步骤四,刷新Hue模块以及Oozie服务模块;

步骤五,配置数据库的访问端口。

2.根据权利要求1所述的方法,其特征在于,步骤五之后还包括:

基于Hue模块对大数据平台的数据进行操作。

3.根据权利要求2所述的方法,其特征在于,

步骤基于Hue模块对大数据平台的数据进行操作包括:

调取Oozie服务模块的编辑界面;

创建大数据处理工作流程任务及名称,并调取Sqoop组件;

配置Sqoop组件的控制指令及输入指令,并保存;

调取Oozie服务模块的工作计划编辑单元;

将创建好的大数据处理工作流程添加为所述工作计划编辑单元中的定时任务;

通过浏览器查看所述定时任务的运行情况。

4.根据权利要求3所述的方法,其特征在于,

步骤通过浏览器查看所述定时任务的运行情况之后还包括:

通过运行日志查询报错的大数据处理工作流程,并对报错进行定位。

5.根据权利要求2所述的方法,其特征在于,

基于Hue模块对大数据平台的数据进行操作还包括:对数据进行抽取、转换、加载至目的端的过程。

6.根据权利要求3所述的方法,其特征在于,

步骤调取Oozie服务模块的编辑界面还包括:

进入Oozie服务模块的编辑界面;

选择操作控制端口;

创建大数据处理工作流程名称;

调取Sqoop组件,并将Sqoop组件拖动至编辑界面中。

7.一种基于Hue实现数据加载的系统,其特征在于,包括:服务添加模块,系统配置模块,系统操作模块以及系统刷新模块;

服务添加模块用于在大数据平台上添加Hue模块以及Oozie服务模块;

系统配置模块用于配置Hue模块的管理节点;以及配置数据库的访问端口;

系统操作模块用于基于管理节点调取EXT模块,将EXT模块下的目录及所述目录下所有文件的用户名及用户组配置为支持oozie服务操作的端口;

系统刷新模块用于刷新Hue模块以及Oozie服务模块。

8.根据权利要求7所述的系统,其特征在于,

系统操作模块还用于基于Hue模块对大数据平台的数据进行操作。

9.一种实现基于Hue实现数据加载的方法的设备,其特征在于,包括:

存储器,用于存储计算机程序及基于Hue实现数据加载的方法;

处理器,用于执行所述计算机程序及基于Hue实现数据加载的方法,以实现如权利要求1至6任意一项所述基于Hue实现数据加载的方法的步骤。

10.一种具有基于Hue实现数据加载的方法的可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行以实现如权利要求1至6任意一项所述基于Hue实现数据加载的方法的步骤。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于山东鲁能软件技术有限公司,未经山东鲁能软件技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201911372614.1/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top