[发明专利]一种大数据云平台的多任务执行方法在审
申请号: | 202010651151.9 | 申请日: | 2020-07-08 |
公开(公告)号: | CN111782375A | 公开(公告)日: | 2020-10-16 |
发明(设计)人: | 贺继成 | 申请(专利权)人: | 南京大成致远网络技术有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50;G06F11/36;H04L29/08 |
代理公司: | 南京鼎傲知识产权代理事务所(普通合伙) 32327 | 代理人: | 刘蔼民 |
地址: | 210000 江苏省南京*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 平台 任务 执行 方法 | ||
1.一种大数据云平台的多任务执行方法,其特征在于:包括如下步骤:
S1、进行项目实施准备,保证多任务在分配中具备合理的预先审核;
S2、对于数据进行需求分析处理,将大数据云平台的数据进行合理分类;
S3、对于多任务的大数据进行调研,根据实际情况和需要进行单任务还是多任务的执行进行确定;
S4、执行中,对于大数据进行逻辑化和物理化的整合与加载,保证任务的正常完成;
S5、执行完成后,对于数据进行转输,并对于平台的平台进行执行反馈。
2.根据权利要求1所述的一种大数据云平台的多任务执行方法,其特征在于,所述S1中确定所需执行的项目,并且根据所需执行的问题对于需求进行分析、确认、整理和比对,形成正式的需求关系,对云平台的设计考虑,包括平台的基本处理流程、平台的组织结构、模块划分、功能分配、接口设计、运行设计、数据结构设计和出错处理设计。
3.根据权利要求1所述的一种大数据云平台的多任务执行方法,其特征在于,所述S2中需求分析处理为数据加载、转换、整合、加工程序开发和单元测试,完成执行数据和数据库设计的数据对映,并据此设计整个后台的脚本程序,按照设计进行开发;
同时开发数据加工程序和脚本,在每一部分开发完成后分别进行各自的单元测试;
云平台开发本期业务范围之内各业务平台的业务功能模块和模拟测试,在开发与单元测试的基础上,进行平台集成测试,看各部分功能的配合协调情况,对发现的问题进行纠正。
4.根据权利要求3所述的一种大数据云平台的多任务执行方法,其特征在于,所述S2中对大数据的处理进行需要进行提取和保存,则需要服务器作为中间介质,实现对于大数据的联系与正常的数据传输,同时将数据进行备份,云平台的数据在发送与接收的过程中均进行加密和解密,传输中通过无线、有线、蓝牙和存储介质中的一种或多种作为传输。
5.根据权利要求4所述的一种大数据云平台的多任务执行方法,其特征在于,所述S2中云平台部署阶段对平台进行投产部署,部署工作从收到经过几点测试、网络环境测试后的可开展应用部署的设备及环境开始,包括:
本平台相关的平台软件安装、配置,网络环境和本平台应用相关的配置,与本平台应用相关目录、空间的分配;
本平台的数据库、表等环境建立和初始化,平台前后台程序、脚本的安装部署,所需基础配置数据的初始化。
6.根据权利要求1所述的一种大数据云平台的多任务执行方法,其特征在于,所述S3中根据云平台的计算根据任务执行所占内存进行单任务、多任务的执行;
执行中,单个任务所占内存为60-80%,直接进行单任务执行,在执行单任务所占内存为1-60%的时候,进行多任务执行,并且多任务执行内存最高占比为95%;
执行多个任务中,云平台对于排列的下个程序进行的内存占比估算,能进行的时候,直接进行执行,再所占内存在85%的时候,等待所执行的多任务进行分批执行,直至下个任务所能进行所占内存足够的时候,进行执行。
7.根据权利要求6所述的一种大数据云平台的多任务执行方法,其特征在于,所述S3中对于多任务进行总分的规划,对于多任务中的标记任务、相连任务、子母任务和同类别任务可以同时执行,但是执行顺序为标记任务、相连任务、子母任务和同类别任务。
8.根据权利要求1所述的一种大数据云平台的多任务执行方法,其特征在于,所述S4中对于多任务合理化与正确的归属,从而进行分类与后期的导出、保存和备份;
所述S4中对于大数据的多任务结果进行验算,同时通过验收和流程人员进行比对,实现智能与人工的相互结合。
9.根据权利要求1所述的一种大数据云平台的多任务执行方法,其特征在于,所述S5中对于数据进行加密传输、解密接收,同时对于数据进行接收完成后,对于发送者实现反馈,通知发送人已经发送成功。
10.根据权利要求1-9任一项所述的一种大数据云平台的多任务执行方法,其特征在于,大数据云平台的多任务执行系统包括大数据云平台的多任务执行方法的任一步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京大成致远网络技术有限公司,未经南京大成致远网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010651151.9/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置