[发明专利]一种基于分布式架构的多源异构数据融合执行引擎在审
| 申请号： | 201910653026.9 | 申请日： | 2019-07-19 |
| 公开（公告）号： | CN110347742A | 公开（公告）日： | 2019-10-18 |
| 发明（设计）人： | 张晓双;王树峥;毛立花;林贵绪 | 申请（专利权）人： | 浪潮卓数大数据产业发展有限公司 |
| 主分类号： | G06F16/25 | 分类号： | G06F16/25;G06F16/27 |
| 代理公司： | 济南信达专利事务所有限公司 37100 | 代理人： | 姜明 |
| 地址： | 214029 江苏省无锡市滨*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于分布式架构的多源异构数据融合执行引擎，属于大数据处理技术领域。本发明的基于分布式架构的多源异构数据融合执行引擎包括调度节点和执行节点，调度节点接收到客户端提交的任务，放入待切分队列，当调度节点的巡检服务检测到待切分队列有任务时，切分任务为分片任务集合，将分片任务放入待启动队列，当调度节点的巡检服务检测到待启动队列分片任务数大于0时，查看执行中队列的分片任务数是否小于支持的阈值，如果小于阈值，将分片任务从待启动队列移动到执行中队列等待执行节点申领任务。该发明的基于分布式架构的多源异构数据融合执行引擎具有高性能、高容错、多源化，具有很好的推广应用价值。 | ||
| 搜索关键词： | 队列 多源异构数据 分布式架构 调度节点 引擎 融合 服务检测 放入 巡检 数据处理技术 队列移动 任务集合 客户端 多源 | ||
【主权项】：
1.一种基于分布式架构的多源异构数据融合执行引擎，其特征在于：该执行引擎采用HA架构，包括调度节点和执行节点，调度节点接收到客户端提交的任务，放入待切分队列，当调度节点的巡检服务检测到待切分队列有任务时，切分任务为分片任务集合，将分片任务放入待启动队列，当调度节点的巡检服务检测到待启动队列分片任务数大于0时，查看执行中队列的分片任务数是否小于支持的阈值，如果小于阈值，将分片任务从待启动队列移动到执行中队列等待执行节点申领任务，当执行节点资源空闲时，向调度节点申请分片任务，领取到分片任务的执行节点启动任务容器，初始化分片任务的读写规则、过滤转换规则，启动读线程与写线程执行分片转储任务，分片任务执行结束时通知调度节点更新任务状态，当执行节点导致分片任务执行失败时，调度节点重新调度该分片任务为未执行状态给执行节点领取执行。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于浪潮卓数大数据产业发展有限公司，未经浪潮卓数大数据产业发展有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910653026.9/，转载请声明来源钻瓜专利网。
