[发明专利]一种自适应低延迟内存计算引擎的数据分析方法有效
申请号: | 202010548158.8 | 申请日: | 2020-06-16 |
公开(公告)号: | CN111736907B | 公开(公告)日: | 2022-08-02 |
发明(设计)人: | 陈琳;崔岭峰;黄杰 | 申请(专利权)人: | 湖南省星岳天璇科技有限公司 |
主分类号: | G06F9/4401 | 分类号: | G06F9/4401;G06F9/50;G06F11/30;G06F16/242;G06F16/25 |
代理公司: | 湖南兆弘专利事务所(普通合伙) 43008 | 代理人: | 周长清;邹大坚 |
地址: | 410205 湖南省长沙市高新开发区*** | 国省代码: | 湖南;43 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种自适应低延迟内存计算引擎的数据分析方法,步骤包括:步骤S1:定义Spark服务启动相关的参数;步骤S2:在数据平台上集成一次启动处理过程;在首次启动时,向Hadoop集群提交Spark任务运行请求,申请硬件资源容器;向Spark内部注册进度监听器HKSparkListener;启动内部网络服务端用于接收通过JDBC接口提交的SQL查询请求及控制命令的处理;启动JDBC接口解析器负责解析所有的SQL语句;向JVM注册关机钩子负责JVM退出时的清理工作,至此启动结束;步骤S3:在进行SQL通信请求时,大数据平台上集成的Spark驱动客户端通过JDBC接口发起SQL查询请求;步骤S4:当收到Spark驱动客户端的停止控制命令时,停止Spark的容器进程。本发明具有原理简单、适用范围广、授权管理保密性更好的等优点。 | ||
搜索关键词: | 一种 自适应 延迟 内存 计算 引擎 数据 分析 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于湖南省星岳天璇科技有限公司,未经湖南省星岳天璇科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202010548158.8/,转载请声明来源钻瓜专利网。