[发明专利]基于混合云计算平台的存储方法及系统在审
申请号: | 202011564771.5 | 申请日: | 2020-12-25 |
公开(公告)号: | CN112579296A | 公开(公告)日: | 2021-03-30 |
发明(设计)人: | 马颜芃;温书豪;朱和胜;马健;赖力鹏 | 申请(专利权)人: | 深圳晶泰科技有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06F11/30;G06F21/60;G06F21/62 |
代理公司: | 深圳市科吉华烽知识产权事务所(普通合伙) 44248 | 代理人: | 胡吉科 |
地址: | 518000 广东省深圳市福田*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 混合 计算 平台 存储 方法 系统 | ||
一种基于混合云计算平台的存储方法及系统包括:接收用户请求,判断是存储对象还是传输数据;若为存储对象,则对存储对象进行创建控制处理,动态监控并反馈参数,通过反馈参数择优创建当前计算集群的存储区域;若为传输数据,则获取传输数据的资源信息;判断是否加解密;若判断为不需加解密,则判断是否加速;若判断为需要加解密,进行加解密后,判断是否需要加速;若无需加速则对数据进行传输;若为上传数据则获取数据并更新元数据,反馈给用户;上述方法及系统,通过动态监控择优选择计算集群的存储区域,以在对应的场景下选择最合适的存储资源,根据需要进行加速下载、上传,使跨云存储访问速率快,节约大量时间。
技术领域
本发明涉及计算机领域,特别涉及一种基于混合云计算平台的存储方法及系统。
背景技术
随着互联网的发展,数据信息呈现爆炸式增长,特别是随着大数据的来临,给存储系统的进一步发展带来了无限的机遇和挑战。数据存储作为云计算的存储部分,既承担了中间数据的缓存,又是输出有价值数据的重要集中地,对存储系统的管理就非常重要。随着数据量的增大,自建数据中心已不能满足数据存储需求,而使用公有云存储的也越来越多;混合云存储这一使用方式也渐渐被各行各业所使用,但在实际使用中现有混合云存储系统在数据的管理和设计方面存在不足,公有云和私有云存储经常分别独立使用,部署在对应的公有云业务只使用对应公有云的存储,而不能有效的利用跨云存储的资源,无法统一的对所有混合云的资源进行统一管理使用。
而大规模的混合云计算平台面对的实际场景具有计算节点的高伸缩性以及任务调度的分散性,在用户突然提交大批量任务时,计算平台需要在可承受的价格范围内从所有公有云尽可能申请计算资源,按照调度策略将计算任务调度到混合云对应的计算集群里,计算结束后回缩所有的计算节点。这要求在计算节点上对存储传输上花的时间越短越好,以便将计算资源投入到计算中;另一个是调度的随机性,很可能同一批次任务的数据有流水线的依赖关系,但调度的计算云或集群不在一起,需要跨云存储访问数据。
而现有的跨云存储没有统一的数据管理模块,存储对象的使用与对应云服务提供商架构绑定较强,而对跨云以及本地存储的使用存在使用不方便,需要指定的情况。不同的云服务提供商的存储资源的连接速率以及存储成本存在差别,在对应的场景下很难选择最合适的存储资源。现有的跨云存储访问速率较慢,占用了计算资源的大量时间。
发明内容
基于此,有必要提供一种可提高效率的基于混合云计算平台的存储方法。
同时,提供一种可提高效率的基于混合云计算平台的存储系统。
一种基于混合云计算平台的存储方法,包括:
请求判断:接收用户请求,判断是存储对象还是传输数据;
存储:若为存储对象,则对存储对象进行创建控制处理,动态监控并反馈参数,通过反馈参数结合调度策略择优创建当前计算集群的存储区域;
获取资源信息:若为传输数据,则获取传输数据的资源信息;
加解密判断:判断是否加解密;
加速判断:若判断为不需加解密,则判断是否加速;若判断为需要加解密,进行加解密后,判断是否需要加速;
数据传输:若无需加速则对数据进行传输;若为上传数据则获取数据并更新元数据,反馈给用户。
在优选实施例中,根据当前计算集群的环境判断是否有跨区域的数据传输及动态监控性能,判断是否需要加速;若判断有跨区域的数据传输且动态监控性能差,则判断需要加速。
在优选实施例中,所述动态监控性能包括:监控当前计算集群访问各个公有云的性能差异,并将获得的性能数据和价格返回进行记录统计。
在优选实施例中,所述动态监控:通过内部定时对文件进行上传下载的性能测试,确定计算平台在每个计算集群访问每个存储时刻的性能数据,以综合分析计算平台的调度策略。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳晶泰科技有限公司,未经深圳晶泰科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011564771.5/2.html,转载请声明来源钻瓜专利网。