[发明专利]一种大数据云平台的多任务执行方法

说明书

本发明公开了一种大数据云平台的多任务执行方法，包括如下步骤：S1、进行项目实施准备，保证多任务在分配中具备合理的预先审核；所述S1中确定所需执行的项目，并且根据所需执行的问题对于需求进行分析、确认、整理和比对，形成正式的需求关系，对云平台的设计考虑，包括平台的基本处理流程、平台的组织结构、模块划分、功能分配、接口设计、运行设计、数据结构设计和出错处理设计，本发明结构科学合理，使用安全方便，对于多个还是单个的任务执行时，根据云平台自身的效率和处理速度进行自选，并且对于多个相连的任务进行统一执行，降低数据的调动频率，加快了反应速度，适合推广使用。

技术领域

本发明涉及大数据技术领域，具体为一种大数据云平台的多任务执行方法。

背景技术

大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产；

对于“大数据”（Big data）研究机构Gartner给出了这样的定义，“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产

但是目前的大数据云平台的多任务执行方法对于多任务直接执行，没有分类与相关的相关处理，造成云平台处理速度慢，无法实现快速的处理，并且不能进行相关的级别分类，出现处理速度慢，处理任务反复调动数据的现象。

发明内容

本发明提供一种大数据云平台的多任务执行方法，可以有效解决上述背景技术中提出目前的大数据云平台的多任务执行方法对于多任务直接执行，没有分类与相关的相关处理，造成云平台处理速度慢，无法实现快速的处理，并且不能进行相关的级别分类，出现处理速度慢，处理任务反复调动数据的现象的问题。

为实现上述目的，本发明提供如下技术方案：一种大数据云平台的多任务执行方法，包括如下步骤：

S1、进行项目实施准备，保证多任务在分配中具备合理的预先审核；

S2、对于数据进行需求分析处理，将大数据云平台的数据进行合理分类；

S3、对于多任务的大数据进行调研，根据实际情况和需要进行单任务还是多任务的执行进行确定；

S4、执行中，对于大数据进行逻辑化和物理化的整合与加载，保证任务的正常完成；

S5、执行完成后，对于数据进行转输，并对于平台的平台进行执行反馈。

根据上述技术方案，所述S1中确定所需执行的项目，并且根据所需执行的问题对于需求进行分析、确认、整理和比对，形成正式的需求关系，对云平台的设计考虑，包括平台的基本处理流程、平台的组织结构、模块划分、功能分配、接口设计、运行设计、数据结构设计和出错处理设计。

根据上述技术方案，所述S2中需求分析处理为数据加载、转换、整合、加工程序开发和单元测试，完成执行数据和数据库设计的数据对映，并据此设计整个后台的脚本程序，按照设计进行开发；

同时开发数据加工程序和脚本，在每一部分开发完成后分别进行各自的单元测试；

云平台开发本期业务范围之内各业务平台的业务功能模块和模拟测试，在开发与单元测试的基础上，进行平台集成测试，看各部分功能的配合协调情况，对发现的问题进行纠正。

根据上述技术方案，所述S2中对大数据的处理进行需要进行提取和保存，则需要服务器作为中间介质，实现对于大数据的联系与正常的数据传输，同时将数据进行备份，云平台的数据在发送与接收的过程中均进行加密和解密，传输中通过无线、有线、蓝牙和存储介质中的一种或多种作为传输。