[发明专利]一种数据湖数据部署方案确定方法及相关设备

说明书

本发明提供的一种数据湖数据部署方案确定方法及相关设备，可以获得至少一个云平台的云资源报价，云资源报价包括与至少一个数据存储类型对应的存储资源报价以及与至少一个算力类型对应的算力资源报价。获得目标数据湖的云资源用量，云资源用量包括目标数据湖中各数据存储类型的数据存储占用量以及目标数据湖在各算力类型下的需求算力资源。本发明通过云平台的云资源报价和目标数据湖的云资源用量，确定出目标数据湖在各云平台上与各数据存储类型分别对应的数据存储成本和与各算力类型分别对应的算力需求成本，进而利用数据存储成本和算力需求成本，确定出目标数据湖在当前的云资源用量下成本更低的数据部署方案。

技术领域

本发明涉及数据湖技术领域，尤其涉及一种数据湖数据部署方案确定方法及相关设备。

背景技术

数据湖(Data Lake)是一个以原始格式存储数据的存储库或系统。它按原样存储数据，而无需事先对数据进行结构化处理。一个数据湖可以存储结构化数据(如关系型数据库中的表)，半结构化数据(如CSV、日志、XML、JSON)，非结构化数据(如电子邮件、文档、PDF)和二进制数据(如图形、音频、视频)。

当前，数据湖作为企业数字化转型的核心基础服务，企业主要依赖于使用公有的云平台提供的数据湖服务。随着企业的数据湖中的数据越来越多，数据存储和算力需求也越来越大。

因此，如何帮助企业选择适合的云平台服务进行数据湖部署，成为本领域技术人员急需解决的技术问题。

发明内容

鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的一种数据湖数据部署方案确定方法及相关设备，技术方案如下：

一种数据湖数据部署方案确定方法，包括：

获得至少一个云平台的云资源报价，其中，所述云资源报价包括与数据存储类型对应的存储资源报价以及与算力类型对应的算力资源报价；

获得目标数据湖的云资源用量，其中，所述云资源用量包括所述目标数据湖在各所述数据存储类型下的数据存储占用量以及所述目标数据湖在各所述算力类型下的需求算力资源；

利用所述存储资源报价和所述数据存储占用量，确定所述目标数据湖在各所述云平台上与各所述数据存储类型分别对应的数据存储成本；

利用所述算力资源报价和所述需求算力资源，确定所述目标数据湖在各所述云平台上与各所述算力类型分别对应的算力需求成本；

利用所述数据存储成本和所述算力需求成本，确定所述目标数据湖的数据部署方案。

可选的，所述利用所述数据存储成本和所述算力需求成本，确定所述目标数据湖的数据部署方案，包括：

根据所述数据存储成本和所述算力需求成本，确定所述云资源用量在各所述云平台提供的所述数据存储类型和所述算力类型下的各组合结果对应的模拟运行成本；

利用所述云资源用量的当前运行成本和各所述模拟运行成本，确定所述目标数据湖的数据部署方案。

可选的，所述利用所述云资源用量的当前运行成本和各所述模拟运行成本，确定所述目标数据湖的数据部署方案，包括：

根据所述云资源用量的当前运行成本和各所述模拟运行成本，分别确定各所述组合结果对应的第一节省成本，其中，所述第一节省成本用于指示在所述云资源用量下所述组合结果对应的所述模拟运行成本与所述当前运行成本的差值；

将所述第一节省成本最高的所述组合结果确定为所述目标数据湖的数据部署方案。

可选的，所述利用所述云资源用量的当前运行成本和各所述模拟运行成本，确定所述目标数据湖的数据部署方案，包括：

确定所述云资源用量在各所述组合结果下对应的迁移流量成本；