[发明专利]分布式的数据分析任务调度系统

摘要

本发明提供了一种分布式的数据分析任务调度系统，包括分布式数据存储服务模块、基于资源的分布式任务调度引擎模块、分布式消息队列模块、分布式应用程序协调服务模块、自动执行引擎模块。本发明提出了一种利用R语言进行数据分析的分布式任务调度架构，利用资源管理平台实现分布式资源管理，进而实现R语言分析的分布式调度执行；利用自动调度引擎，实现数据分片的任务自动调用，符合工业过程数据跟踪的自动化分析需求。

主权项

一种分布式的数据分析任务调度系统，其特征在于，包括：分布式数据存储服务模块：通过非关系型数据库进行存储，通过分布式搜索引擎进行数据的检索，提供分布式数据存储服务基于资源的分布式任务调度引擎模块：进行资源管理、资源控制、任务调度与跟踪，提供任务调度服务；分布式消息队列模块：通过分布式消息队列实现数据的发布与订阅功能；分布式应用程序协调服务模块：对单节点上的自动执行引擎任务的后续执行进行容错；自动执行引擎模块：对数据分析任务做分析。