[发明专利]基于spark内核的任务执行方法、系统和计算机设备在审
| 申请号： | 202011472995.3 | 申请日： | 2020-12-15 |
| 公开（公告）号： | CN112486468A | 公开（公告）日： | 2021-03-12 |
| 发明（设计）人： | 段晓航 | 申请（专利权）人： | 恩亿科（北京）数据科技有限公司 |
| 主分类号： | G06F8/30 | 分类号： | G06F8/30;G06F9/48 |
| 代理公司： | 青岛清泰联信知识产权代理有限公司 37256 | 代理人： | 李红岩 |
| 地址： | 100192 北京市海淀区西小口路66*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请涉及一种基于spark内核的任务执行方法、系统、计算机设备，其中，该任务执行方法包括：任务流生成步骤，spark driver节点读取并根据一配置文件生成任务流；任务分配步骤，akka根据任务流分配任务；任务执行步骤，一调度器根据分配任务的信息将任务分发至对应的执行节点，并将执行结果发送至spark driver节点。通过将akka和spark的结合达到对etl的任务流并行执行以及对该任务流中每个任务并行执行，从而提高执行效率；以及通过配置文件的方式省去编写代码的成本，提高开发效率。 | ||
| 搜索关键词： | 基于 spark 内核 任务 执行 方法 系统 计算机 设备 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于恩亿科（北京）数据科技有限公司，未经恩亿科（北京）数据科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202011472995.3/，转载请声明来源钻瓜专利网。
- 上一篇：微创心脏手术辅助装置
- 下一篇：基于双辊转动式环保有机肥翻料装置
