[发明专利]一种HDFS跨外部存储系统多层级存储效率优化的方法和设备

说明书

本发明提供了一种HDFS跨外部存储系统多层级存储效率优化的方法和设备，该方法包括以下步骤：选择用于测试的评估维度；根据评估维度获取传统数据节点扩容性能指标数据并获取跨外部存储系统多层级存储性能指标数据；将传统数据节点扩容性能指标数据与跨外部存储系统多层级存储性能指标数据进行对比，获取对比结果；根据对比结果选定最佳扩容方案。通过使用本发明的方案，能够评估生产环境中跨外部存储系统多层级存储效率以及本地传统扩容数据节点的性能、性价对比，能够提供实验环境下两种方式在同一纬度的数据对比，为不同平台因数据剧增所需扩容业务提供一份准确评估系统，提高企业大数据平台利用率。

技术领域

本领域涉及计算机领域，并且更具体地涉及一种HDFS跨外部存储系统多层级存储效率优化的方法和设备。

背景技术

Hadoop社区在HDFS(分布式文件系统)-9806(Allow HDFS block replicas to beprovided by an external storage system)以及相关JIRA中提出了跨外部存储系统的多层级存储设计，发布在Hadoop3.1.0版本；在HDFS-14805(Mounting external stores inHDFS on-the-fly)以及相关JIRA中提出了即时挂载HDFS中的外部存储，在支持高可用性的同时将外部存储动态装入HDFS群集中，同时安装多个远程存储，减少部署开销并简化提供的存储的可用性，以这种方式无缝装载数据，未实现未发布；在HDFS-13069(Enable HDFSto cache data read from external storage systems)以及相关JIRA中提出了启用HDFS缓存从外部存储系统读取的数据，即使用提供的存储(HDFS-9806)，HDFS可以处理存储在外部存储系统中的数据，当对外部存储的访问带宽有限、延迟较高时，在HDFS中本地缓存此数据可以加快对数据的后续访问，将外部数据缓存在本地磁盘和SSD上，从而加速远程数据读取，未实现未发布；在HDFS-12090(Handling writes from HDFS to Provided storages)以及相关JIRA中处理如何将数据从HDFS写入提供的外部存储中，未实现未发布。

当前HDFS跨外部存储系统多层级存储技术仅仅实现设计及发布，细节部分还未实现，该架构现在还在实验阶段。但此类以Hadoop系统生态圈为代表的大数据工具，将会被更多的企业所使用。将大数据与外部存储系统(例如云存储系统)联系，将数据存储在HDFS内，然后在定期同步到云上，相当于云端存储的数据是一个back store。这样做的一个好处是防止本地集群的数据遭到意外的破坏或丢失，至少在云端我们还有备份。或者有另外的一些做法是，我们通过一层适配操作，将用户写入集群的数据直接就写到了远端的云上，但是对于用户而言它是无感知的。随着大数据日益剧增，随着该功能的完善、Hadoop社区补丁的更新以及后续新版本的发布，由此带来的一个新的方式和传统采购服务器本地扩容数据节点形成两种可选的方案，如何评估同等存储、计算等能力下哪种方案更具性价比，如何评估同等性价比下哪种方案带来存储、计算等能力更高需要一种准确的评估方式。

发明内容

有鉴于此，本发明实施例的目的在于提出一种HDFS跨外部存储系统多层级存储效率优化的方法和设备，通过使用本发明的方法，能够评估生产环境中跨外部存储系统多层级存储效率以及本地传统扩容数据节点的性能、性价对比，能够提供实验环境下两种方式在同一纬度的数据对比，为不同平台因数据剧增所需扩容业务提供一份准确评估系统，提高企业大数据平台利用率。

基于上述目的，本发明的实施例的一个方面提供了一种HDFS跨外部存储系统多层级存储效率优化的方法，包括以下步骤：

选择用于测试的评估维度；

根据评估维度获取传统数据节点扩容性能指标数据并获取跨外部存储系统多层级存储性能指标数据；

将传统数据节点扩容性能指标数据与跨外部存储系统多层级存储性能指标数据进行对比，获取对比结果；